关于后端:入门教程5步创建K8S-Job搞定批处理

32次阅读

共计 3365 个字符,预计需要花费 9 分钟才能阅读完成。

Kubernetes jobs 次要是针对短时和批量的工作负载。它是为了完结而运行的,而不是像 deployment、replicasets、replication controllers 和 DaemonSets 等其余对象那样继续运行。

本文将介绍如何创立 Kubernetes jobs 和 cronjobs,以及一些小技巧。

Kubernetes Jobs 会始终运行到 Job 中指定的工作实现。也就是说,如果 pods 给出退出代码 0,那么 Job 就会退出。而在失常的 Kubernetes 中,无论退出代码是什么,deployment 对象在终止或呈现谬误时都会创立新的 pod,以放弃 deployment 的现实状态。

在 job 运行过程中,如果托管 pod 的节点产生故障,Job pod 将被主动重新安排到另一个节点。

Kubernetes Jobs 用例

对于 Kubernetes Jobs 最好的用例实际是:

  1. 批处理工作:比如说你想每天运行一次批处理工作,或者在指定日程中运行。它可能是像从存储库或数据库中读取文件那样,将它们调配给一个服务来解决文件。
  2. 运维 /ad-hoc 工作:比方你想要运行一个脚本 / 代码,该脚本 / 代码会运行一个数据库清理流动,甚至备份一个 Kubernetes 集群。

如何创立 Kubernetes Job

在本例中,咱们将应用 Ubuntu 容器来运行一个带有 for 循环的 shell 脚本,并依据你传递给容器的参数来响应音讯。这个参数是一个数字,决定 shell 脚本循环应该运行多少次。

例如,如果你传递了参数 100,那么 shell 脚本将响应音讯 100 次而后容器将会退出。

你能够拜访以下链接查看 Dockerfile 和 shell 脚本:
https://github.com/devopscube…

咱们先从一个简略设置的 job 开始。

Step1:应用自定义的 Docker 镜像创立一个 job.yaml 文件,命令参数为 100。100 将会作为参数传递给 docker ENTRYPOINT 脚本。

apiVersion: batch/v1  kind: Job  metadata:      name: kubernetes-job-example      labels:     
    jobgroup: jobexample  spec:      template:     
    metadata:       
      name: kubejob       
      labels:         
        jobgroup: jobexample     
    spec:       
      containers:       
      - name: c         
        image: devopscube/kubernetes-job-demo:latest         
        args: ["100"]       
      restartPolicy: OnFailure   

Step2:应用 kubectl 创立一个 job.yaml 文件的 job

kubectl apply -f job.yam

Step3:应用 kubectl 查看 job 的状态

kubectl get jobs

Step4:应用 kubectl 获取 pod 列表

kubectl get po

Step5:应用 kubectl 获取 job pod 日志。应用你在输入中看到的 Pod 名称替换本来的 Pod 名称。

kubectl logs kubernetes-job-example-bc7s9 -f

并行运行多 Job pods

当一个 job 被部署后,你能够让它在多个 Pod 上并行运行。例如,在一个 job 中如果你想要运行 6 个 pods,同时并行运行 2 个 pods,你须要增加以下 2 个参数到你的 job manifets 中:

completions: 6
parallelism: 2

以下是带有那些参数的 manifest:


apiVersion: batch/v1
kind: Job
metadata:
  name: kubernetes-parallel-job
  labels:
    jobgroup: jobexample
spec:
  completions: 5
  parallelism: 2
  template:
    metadata:
      name: kubernetes-parallel-job
      labels:
        jobgroup: jobexample
    spec:
      containers:
      - name: c
        image: devopscube/kubernetes-job-demo:latest
        args: ["100"]
      restartPolicy: OnFailure

为 Kubernetes Job 生成随机名称

你不能从一个 job manifest 文件中创立多个 job,因为 Kubernetes 会报错,说存在一个同名的 job。为了躲避这个问题,你能够在元数据中增加 generateName 名称参数。

例如:


apiVersion: batch/v1
kind: Job
metadata:
  generateName: kube-job-
  labels:
    jobgroup: jobexample

在上方示例中,每次你运行该 manifest,job 将以 kube-job- 作为前缀,前面跟着一个随机字符串来创立。

如何创立 Kubernetes CronJob

如果你想依照特定的时间表运行批处理 job,例如,每 2 个小时运行一次。你能够用 cron 表达式创立一个Kubernetes cronjob。Job 会依照你在 job 中提到的时间表主动启动。

上面咱们将介绍如何指定一个 cron 打算,你能够应用 crontab 生成器(https://crontab-generator.org/)来生成本人的工夫打算。

schedule: "0,15,30,45 * * * *"

下图显示了 Kubernetes cronjob schedule 语法。
如果咱们以 cronjob 的模式每 15 分钟运行一次咱们之前的 job,manifest 应该如下所示。创立一个名为 cron-job.yaml 的文件,并复制以下 manifest:


apiVersion: batch/v1beta1
kind: CronJob
metadata:
    name: kubernetes-cron-job
spec:
  schedule: "0,15,30,45 * * * *"
  jobTemplate:
    spec:
      template:
        metadata:
          labels:
            app: cron-batch-job
        spec:
          restartPolicy: OnFailure
          containers:
          - name: kube-cron-job
            image: devopscube/kubernetes-job-demo:latest
            args: ["100"]

让咱们应用 kubectl 部署 cronjob。
kubectl create -f cron-job.yaml
列出 cronjobs:

kubectl get cronjobs

你能够列出 cronjob pod 并从处于运行状态或实现状态的 pods 中获取日志来查看 Cronjob 日志。

手动运行 Kubernetes CronJob

在某些状况下,你可能心愿以长期的形式执行 cronjob。你能够通过从现有的 cronjob 创立一个 job 来实现。

例如,如果你想手动触发一个 cronjob,咱们应该这样做:


kubectl create job --from=cronjob/kubernetes-cron-job manual-cron-job

–from=cronjob/kubernetes-cron-job将复制 cronjob 模板并创立一个名为 manual-cron-job 的 job。

Kubernetes Job 的要害参数

依据你的需要,你还能够应用 kubernetes jobs/cronjobs 的几个要害参数:

  1. failedJobHistoryLimit &
    successfulJobsHistoryLimit:依据你提供的保留数量删除失败和胜利的 job 历史记录。当你尝试列出 job 时,这对于缩小所有失败的条目十分有用。例如:
  2. backoffLimit:如果你的 Pod 失败,重试的总次数。
  3. activeDeadlineSeconds:如果你想对 cronjob 的运行工夫进行硬性限度,能够应用此参数。例如,如果你想只运行 1 分钟的 cronjob,你能够将其设置为 60。

通过本文咱们理解了创立 Job 以及 Cron Job 的步骤并且一些具体的配置过程和要害参数,心愿藉由本文能够帮忙你开始上手理解 K8S Job 和 Cron Job,轻松搞定批处理工作!

原文链接:
https://devopscube.com/create…

正文完
 0