EKS에 올린 Spring Boot 서비스에서 특정 API 하나만 간헐적으로 504 Gateway Timeout을 냈다. 그 API는 관리자 화면에서 배치 작업을 즉시 실행하는 용도였다. 평소엔 잘 되다가 데이터가 많은 날만 실패했다. 결론은 ALB idle timeout 60초였다. 그런데 거기까지 가는 데 며칠이 걸렸다. 왜 돌아갔는지까지 포함해서 기록한다. 증상 마지막 세 가지가 힌트였는데, 처음엔 더 읽기
eks
“푸시했습니다”라고 거짓말하는 AI — LLM의 허위 작업 완료와 아첨, 실제로 겪은 두 사례
AI 코딩 도구를 업무에 붙이고 몇 달 지나면, 성능보다 더 신경 쓰이는 문제가 하나 생긴다. 모델이 하지 않은 일을 했다고 말하고, 내가 틀린 방향을 잡아도 맞장구를 친다는 것이다. 이 두 현상에는 이름이 있다. 둘 다 학계에서는 어느 정도 알려진 현상이지만, 실무에서 만나면 논문 읽을 때와는 체감이 다르다. 실제로 겪은 두 더 읽기
EKS CronJob Pending 현상: “Preemption is not helpful for scheduling” 원인 분석
문제 현상 EKS 환경에서 특정 CronJob 실행 시 다음과 같은 메시지와 함께 Pod가 Pending 상태에 머무르며 일정 시간 이후에야 실행되는 현상이 발생했습니다: 원인 분석 이 메시지는 Kubernetes 스케줄러가 다음과 같은 조건 중 하나 이상으로 인해 Pod를 즉시 스케줄하지 못했음을 의미합니다: 1. 리소스 부족 2. 스케줄 조건 미충족 (Affinity, Toleration 등) 더 읽기
Kubernetes CronJob 실패 원인 분석 및 해결: [BackoffLimitExceeded] 에러 대응법
Kubernetes CronJob 실행 실패: [BackoffLimitExceeded] 원인과 해결 💡 문제 현상 Rancher UI 또는 kubectl describe job 명령어를 통해 아래와 같은 메시지가 확인됨: [BackoffLimitExceeded] Job has reached the specified backoff limit 🔍 원인 분석 🧪 디버깅 접근 kubectl run debug-batch –rm -it –image=123456789012.dkr.ecr.region.amazonaws.com/sample-image:tag — bash ✅ 해결 방법 1. Pod 삭제 더 읽기
Spring Batch 작업을 Kubernetes CronJob으로 병렬 처리할 때의 고려사항과 커넥션 오류 대응 전략
✅ 1. Spring Batch를 Kubernetes CronJob에서 병렬로 실행하려는 시나리오 ✅ 2. HikariCP 경고: “Apparent connection leak detected” ✅ 3. MyBatis 쿼리가 길어질 때 INSERT 타임아웃 처리 @Options(timeout = 5)void insertMyData(@Param(“list”) List<MyDto> list); ✅ 4. 커넥션 오류 예외 예시 (Unknown thread id) ✅ 5. 기존 Step을 Partitioning Step으로 전환할 수 있는가?
EKS Kubernetes CronJob의 노드 분산 원리: 스케줄러 점수 기반 배치 완전 이해하기
✅ 본문 요약 (개요 흐름) 💡 핵심 질문 EKS CronJob은 LB가 없이 어떻게 노드에 분산되는가?스케줄러는 어떤 기준으로 점수를 계산해 Pod을 배치하는가? ✅ Kubernetes 스케줄러의 2단계 배치 알고리즘 ✅ 점수 산정에 사용되는 주요 요소들 기준 설명 preferred nodeAffinity 특정 라벨 가진 노드를 선호 → 점수 +10~+100 podAntiAffinity 동일한 app의 Pod이 있으면 더 읽기
EKS CronJob에서 BackoffLimitExceeded 오류가 발생하는 원인과 해결 방법
EKS에서 CronJob 실행 시 다음과 같은 오류 메시지를 본 적 있으신가요? [BackoffLimitExceeded] Job has reached the specified backoff limit 이 오류는 Kubernetes Batch Job이 실패했고, 설정된 최대 재시도 횟수를 초과했을 때 발생합니다. 이 글에서는 해당 에러가 발생하는 이유와, 실전에서 이를 어떻게 해결할 수 있는지 자세히 살펴봅니다. 🔍 오류 원인: backoffLimit 더 읽기
Kubernetes에서 CronJob 병렬 실행 없이 노드 그룹(batch-alpha 등) 내 분산 처리하기: rotate-group 기반 전략
📌 문제 개요 대규모 Kubernetes 클러스터에서 수백 개의 CronJob이 실행되며, 각 Job은 반드시 특정 태그(group=batch-alpha, group=batch-beta, group=batch-gamma)를 갖는 노드 풀에서만 실행되어야 합니다. 가장 중요한 요구사항은 동시에 병렬 실행이 절대로 발생해서는 안 된다는 점입니다. 📌 일반적인 접근 방식의 한계 📌 최종 채택한 전략 요약 📌 실제 구성 요소 1. CronJob YAML 더 읽기
EKS CronJob에서 실행 시간이 지나면 자동으로 Pod 종료하는 방법
Kubernetes의 CronJob을 사용할 때, 실행 시간이 너무 길어지면 리소스를 낭비할 수 있습니다. 이를 방지하기 위해 activeDeadlineSeconds 옵션을 활용하면 일정 시간이 지나면 자동으로 Pod를 종료할 수 있습니다. ✅ activeDeadlineSeconds 옵션이란? activeDeadlineSeconds는 Job이 시작된 후 일정 시간이 지나면 강제 종료되는 기능입니다. 이를 설정하면, 지정된 시간이 초과되었을 때 Kubernetes가 자동으로 해당 Pod를 종료합니다. 더 읽기
Rancher에서 CronJob Suspend 로그를 CloudWatch에 남기는 방법
Rancher를 통해 Kubernetes CronJob을 suspend: true로 변경했을 때, CloudWatch에 해당 로그가 남지 않는 경우가 발생할 수 있습니다. 반면, suspend: false는 정상적으로 기록될 수 있습니다. 이런 문제를 해결하기 위해 Rancher에서 로그를 남기는 방법을 정리하였습니다. 1️⃣ Kubernetes 이벤트에서 suspend 변경 확인 먼저, Kubernetes 자체에서 suspend 변경 이벤트가 기록되는지 확인해야 합니다. 이를 위해 더 읽기