k8s中job與cronjob使用實例詳解

一、前言

job,顧名思義就是任務,job的概念在很多框架中都有,而且實際業務場景中也使用非常廣泛,比如大傢熟悉的hadoop,客戶端可以向集群提交一個job,然後集群根據一定的調度策略來處理這個job;

k8s中的job,主要用於批量處理的業務場景,比如像那種短暫的一次性任務(每個任務僅運行一次就結束);

二、k8s中job特點

  • 當Job創建的pod執行成功結束時,Job將記錄成功結束的pod數量;
  • 當成功結束的pod達到指定的數量時,Job將完成執行;

job與pod的關系如下圖

三、Job模板配置文件核心配置參數

如下為job的一個模板配置yaml文件中的部分核心配置參數

apiVersion: batch/v1 # 版本號
kind: Job # 類型       
metadata: # 元數據
  name: # rs名稱 
  namespace: # 命名空間 
  labels: 
    controller: job
spec: 
  completions: 6 # 指定job需要成功運行Pods的次數。默認值: 1
  parallelism: 3 # 指定job在任一時刻應該並發運行Pods的數量。默認值: 1
  ttlSecondsAfterFinished: 5
  activeDeadlineSeconds: 30 # 指定job可運行的時間期限,超過時間還未結束,系統將會嘗試進行終止。
  backoffLimit: 5 # 指定job失敗後進行重試的次數。默認是6
  manualSelector: true # 是否可以使用selector選擇器選擇pod,默認是false
  selector: # 選擇器,通過它指定該控制器管理哪些pod
    matchLabels:      # Labels匹配規則
      app: counter-pod
    matchExpressions: # Expressions匹配規則
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板,當副本數量不足時,會根據下面的模板創建pod副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重啟策略隻能設置為Never或者OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

可以參照各個參數的備註加以理解,下面對其中部分參數做補充說明;

3.1 ttlSecondsAfterFinished

  • 當設置瞭ttlSecondsAfterFinished參數,job完成或者失敗後都會在ttlSecondsAfterFinished所設置的時間後被清理;
  • 假設ttlSecondsAfterFinished 設置成30。在job完成或者失敗後30s,job就會被自動清除,包括job和job所管理的pod都會被清除;
  • 假設沒有設置,job和job所管理的pod會一直存在,不管是失敗還是成功,不過好像有些k8s的版本ttlSecondsAfterFinished是不生效的,建議使用1.20以上的版本;

3.2 activeDeadlineSeconds

  • Job的超時時間,一旦一個Job運行的時間超出該限制,則Job失敗,所有運行中的Pod會被結束並刪除;
  • 該配置指定的值必須是個正整數,不指定則不會超時;
  • 但是經過實驗,job pod並不會自動刪除,所以如果希望超時後pod會自動刪除還是設置一下ttlSecondsAfterFinished;

3.3 backoffLimit

  • 允許執行失敗的次數,默認值是6,0表示不允許執行失敗;
  • 如果Pod是restartPolicy為Nerver,則失敗後會創建新的Pod,如果是OnFailed,則會重啟Pod,不管是哪種情況,隻要Pod失敗一次就計算一次,而不是等整個Pod失敗後再計算一個;
  • 當失敗的次數達到該限制時,整個Job隨即結束,所有正在運行中的Pod都會被刪除;
  • 但是經過實驗,jobpod並不會自動刪除,所以如果希望超時後pod會自動刪除還是設置一下ttlSecondsAfterFinished;

3.4 parallelism

並行運行的Pod的個數,默認值為1,假如設置為3,就會同時開啟3個pod去執行任務

3.5 completions

  • 完成該Job需要執行成功的Pod數;
  • 指定需要完成的數量,默認值為1,假設設置為3,需要有三個pod成功完成任務,這個job才算是完成;

四、job案例操作演示

在當前目錄下創建一個jod-pod.yaml文件,配置如下內容

apiVersion: batch/v1
kind: Job      
metadata:
  name: test-job
  namespace: default
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply創建pod

在另外的兩個窗口,我們提前打開監控pod和job的執行情況,可以看到下面的完整執行過程;

從job的執行過程來看,經歷瞭從無到有以及到最終的STATUS狀態為Completed的過程,這個也和上文提到的job的生命周期描述吻合;

對於Pod的執行過程來看,從下面這張圖可以清晰看到STATUS的各個階段變化的完整過程;

其他的模板中的參數可以直接往裡面添加即可在job運行過程中看到效果,比如我們在該模板文件中補充兩個參數;

再次運行這個job,通過job和pod的監控信息,看到如下的效果;

五、cronjob 理論

CronJob其實就是在Job的基礎上加上瞭時間調度,我們可以:在給定的時間點運行一個任務,也可以周期性地在給定時間點運行。這個實際上和我們Linux中的crontab就非常類似瞭。

CronJob控制器以 Job控制器資源為其管控對象,並借助它管理pod資源對象,Job控制器定義的作業任務在其控制器資源創建之後便會立即執行,但CronJob可以以類似於Linux操作系統的周期性任務作業計劃的方式控制其運行時間點重復運行的方式。也就是說,CronJob可以在特定的時間點(反復的)去運行job任務

cronjob 運行原理圖

六、cronjob 模板配置文件核心配置參數

如下為cronjob模板配置文件中核心參數;

apiVersion: batch/v1beta1 # 版本號
kind: CronJob # 類型       
metadata: # 元數據
  name: # rs名稱 
  namespace: # 命名空間 
  labels: #標簽
    controller: cronjob
spec: # 詳情描述
  schedule: # cron格式的作業調度運行時間點,用於控制任務在什麼時間執行
  concurrencyPolicy: # 並發執行策略,用於定義前一次作業運行尚未完成時是否以及如何運行後一次的作業
  failedJobHistoryLimit: # 為失敗的任務執行保留的歷史記錄數,默認為1
  successfulJobHistoryLimit: # 為成功的任務執行保留的歷史記錄數,默認為3
  startingDeadlineSeconds: # 啟動作業錯誤的超時時長
  jobTemplate: # job控制器模板,用於為cronjob控制器生成job對象;下面其實就是job的定義
    metadata:
    spec:
      completions: 1
      parallelism: 1
      activeDeadlineSeconds: 30
      backoffLimit: 6
      manualSelector: true
      selector:
        matchLabels:
          app: counter-pod
        matchExpressions: 規則
          - {key: app, operator: In, values: [counter-pod]}
      template:
        metadata:
          labels:
            app: counter-pod
        spec:
          restartPolicy: Never 
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"]

關於配置文件中的補充參數說明

concurrencyPolicy

concurrencyPolicy 配置策略

  • Allow: 允許Jobs並發運行(默認);
  • Forbid: 禁止並發運行,如果上一次運行尚未完成,則跳過下一次運行;
  • Replace: 替換,取消當前正在運行的作業並用新作業替它;

Cron調度語法

註意K8S的定時任務僅支持5位,從minute開始

# ┌───────────── minute (0 – 59)
# │ ┌───────────── hour (0 – 23)
# │ │ ┌───────────── day of the month (1 – 31)
# │ │ │ ┌───────────── month (1 – 12)
# │ │ │ │ ┌───────────── day of the week (0 – 6) (Sunday to Saturday;
# │ │ │ │ │ 7 is also Sunday on some systems)
# │ │ │ │ │
# │ │ │ │ │
#* * * * *

七、cronjob 案例操作演示

在當前目錄創建一個cron-job.yaml的配置文件,配置內容如下:

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: test-cronjob
  namespace: default
  labels:
    controller: cronjob
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    metadata:
    spec:
      template:
        spec:
          restartPolicy: Never
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply(或create命令)創建cronjob

通過開啟其他客戶端窗口,可以監控cronjob,job以及pod的運行過程中的狀態;

cronjob的運行狀態

上面的配置策略是每分鐘執行,從下圖的運行效果中也可以看出來;

job的運行狀態

pod的運行狀態

cronjob使用場景

Cron 作業對於創建周期性和重復性任務很有用,例如運行備份或發送電子郵件。Cron 作業還可以將單個任務安排在特定時間,例如,你想將作業安排在業務低峰期執行。

到此這篇關於k8s中job與cronjob使用實例詳解的文章就介紹到這瞭,更多相關k8s job與cronjob使用內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: