Kubernetes에서 CronJob 병렬 실행 없이 노드 그룹(batch-alpha 등) 내 분산 처리하기: rotate-group 기반 전략

📌 문제 개요

대규모 Kubernetes 클러스터에서 수백 개의 CronJob이 실행되며, 각 Job은 반드시 특정 태그(group=batch-alpha, group=batch-beta, group=batch-gamma)를 갖는 노드 풀에서만 실행되어야 합니다. 가장 중요한 요구사항은 동시에 병렬 실행이 절대로 발생해서는 안 된다는 점입니다.

📌 일반적인 접근 방식의 한계

• CronJob을 3개로 나눠 실행 시간만 다르게 하면, 지연 시 병렬 실행 가능성 발생
• hostname을 affinity 조건으로 사용할 경우, 노드 교체 시 조건 불일치 위험
• topologySpreadConstraints는 동시 실행 Pod 수가 없으면 무의미

📌 최종 채택한 전략 요약

• 단일 CronJob만 유지
• concurrencyPolicy: Forbid로 병렬 실행 완전 차단
• 노드에는 rotate-group=rotate-n 라벨을 사전 부여
• 실행 직전에 soft affinity 조건을 kubectl patch로 회전 적용
• group=batch-alpha 등 node group 라벨 기준으로 고정된 실행 범위 유지

📌 실제 구성 요소

1. CronJob YAML 예시

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
        - matchExpressions:
            - key: group
              operator: In
              values:
                - batch-alpha
    preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 100
        preference:
          matchExpressions:
            - key: rotate-group
              operator: In
              values:
                - rotate-1

2. 노드 라벨 구성 예시

kubectl label node node-a group=batch-alpha rotate-group=rotate-1 --overwrite
kubectl label node node-b group=batch-alpha rotate-group=rotate-2 --overwrite
kubectl label node node-c group=batch-alpha rotate-group=rotate-3 --overwrite

3. soft affinity patch 스크립트

스크립트 실행 시 현재 시간 또는 index 기준으로 rotate-group 값을 순환 적용합니다.

#!/bin/bash

GROUP=batch-alpha
CRONJOB=my-batch-alpha-cronjob
NAMESPACE=batch-jobs
ROTATE_LIST=(rotate-1 rotate-2 rotate-3)
INDEX=$(( $(date +%s) / 300 % ${#ROTATE_LIST[@]} ))
ROTATE="${ROTATE_LIST[$INDEX]}"

kubectl patch cronjob "$CRONJOB" -n "$NAMESPACE" --type merge -p "{
  \"spec\": {
    \"jobTemplate\": {
      \"spec\": {
        \"template\": {
          \"spec\": {
            \"affinity\": {
              \"nodeAffinity\": {
                \"preferredDuringSchedulingIgnoredDuringExecution\": [
                  {
                    \"weight\": 100,
                    \"preference\": {
                      \"matchExpressions\": [
                        {
                          \"key\": \"rotate-group\",
                          \"operator\": \"In\",
                          \"values\": [\"$ROTATE\"]
                        }
                      ]
                    }
                  }
                ]
              }
            }
          }
        }
      }
    }
  }
}"

📌 확장성

이 구조는 노드 수가 유동적이거나, 노드 그룹별 리소스 격리가 필요한 환경, 혹은 DevOps 협업 없이 독립적으로 CronJob 스케줄링을 제어해야 하는 상황에 매우 유용합니다.

📌 결론

Kubernetes CronJob 실행에서 병렬을 철저히 방지하면서도, 지속적으로 동일한 노드만 사용하는 편중을 피하려면 rotate-group 기반 soft affinity 라벨 회전 전략이 가장 안정적이고 유연한 방법임을 확인했습니다.