Spring Batch 멀티스레드 환경에서 HikariCP Connection Leak 문제 해결 방법

개요
Spring Batch에서 멀티스레드 환경을 사용한 후 HikariCP의 Connection Leak 경고가 발생하는 문제에 대해 분석하고 해결 방법을 정리합니다.
특히 멀티스레드와 HikariCP의 connection-pool 설정, 트랜잭션 관리 방식, DAO 호출 구조가 Connection Leak에 미치는 영향을 집중적으로 다룹니다.

HikariCP 설정과 Connection Leak 원인 분석

사용된 HikariCP 설정은 다음과 같습니다.

minimum-idle: 2  
maximum-pool-size: 30  
keepalive-time: 120000  
max-lifetime: 1800000  
idle-timeout: 120000  
leak-detection-threshold: 10000  
connection-timeout: 15000  
validation-timeout: 10000  

이 설정에서 Connection Leak이 발생하는 주요 원인은 다음과 같습니다.

1. 멀티스레드 환경에서 DAO 호출 방식에 따른 커넥션 과다 사용

• 기본적으로 1개의 트랜잭션은 1개의 커넥션을 사용하지만, 트랜잭션이 적절히 관리되지 않으면 DAO 호출마다 새로운 커넥션을 가져오는 경우가 발생.
• Spring Batch의 Tasklet에서 ExecutorService를 사용하면, 각 스레드에서 별도로 커넥션을 획득할 가능성이 있음.

2. @Transactional이 적용되지 않아 DAO 호출마다 커넥션을 생성하는 경우

• @Transactional이 적용되지 않으면 각 DAO 메서드가 개별적인 커넥션을 획득하고 반환.
• 트랜잭션을 유지하지 않으면 스레드 개수(예: 10개)보다 더 많은 커넥션을 사용하여 HikariCP 풀 크기(maximum-pool-size)를 초과할 수 있음.

3. Propagation.REQUIRES_NEW 사용으로 예상보다 많은 커넥션 사용

• @Transactional(propagation = Propagation.REQUIRES_NEW)을 사용하면, 새로운 트랜잭션을 시작하면서 새로운 커넥션을 가져옴.
• 한 개의 트랜잭션 안에서 REQUIRES_NEW를 여러 번 사용하면 각 호출마다 새로운 커넥션이 생성될 수 있음.

4. leak-detection-threshold 설정이 너무 짧아 정상적인 트랜잭션도 Leak으로 감지

• leak-detection-threshold: 10000 (10초) 설정은 10초 내에 커넥션이 반환되지 않으면 Leak 경고를 발생.
• 트랜잭션이 10초 이상 걸리는 경우에도 불필요한 경고가 발생할 수 있음.

해결 방법

1. @Transactional을 활용하여 트랜잭션 단위에서 커넥션 관리

• 트랜잭션 내부에서 여러 DAO 호출을 묶어서 실행하면, 하나의 커넥션만 유지할 수 있음.

@Transactional
public void processOrders() {
    orderDAO.updateOrderStatus();  
    orderDAO.insertOrderLog();     
    orderDAO.updateStockQuantity();
}

이렇게 하면 여러 DAO 호출이 하나의 트랜잭션 내에서 실행되므로, 불필요한 커넥션 낭비가 줄어듦.

2. HikariCP 설정 조정

최적화된 설정 예시:

maximum-pool-size: 30  
max-lifetime: 900000  # 15분 (Aurora wait_timeout보다 작게)  
idle-timeout: 600000  # 10분  
leak-detection-threshold: 30000  # 30초  

• leak-detection-threshold을 30초 이상으로 설정하여 불필요한 Connection Leak 경고 방지.
• max-lifetime을 Aurora RDS의 wait_timeout보다 작게 설정하여 안정적인 커넥션 관리.

3. Tasklet 내부에서 멀티스레드 실행 시 트랜잭션 처리

• Spring Batch에서 Tasklet 내부에서 직접 ExecutorService를 사용하는 대신, Spring의 TaskExecutor를 활용하여 트랜잭션 관리.

@Bean
public Step parallelStep() {
    return stepBuilderFactory.get("parallelStep")
        .<InputType, OutputType>chunk(10)
        .reader(myItemReader())
        .processor(myItemProcessor())
        .writer(myItemWriter())
        .taskExecutor(taskExecutor()) //  멀티스레드 처리
        .throttleLimit(10) //  최대 10개 스레드
        .build();
}

이렇게 하면 각 스레드가 독립적인 트랜잭션을 유지하면서도 커넥션이 안정적으로 관리됨.

결론

1. HikariCP Connection Leak 경고의 원인은 멀티스레드 환경에서 커넥션 반환이 제대로 이루어지지 않기 때문.
2. 멀티스레드 환경에서 @Transactional을 활용하여 커넥션을 효율적으로 관리해야 함.
3. HikariCP 설정을 최적화하고, leak-detection-threshold 값을 증가시켜 불필요한 경고를 방지해야 함.
4. Spring Batch의 멀티스레드 처리는 TaskExecutor를 활용하여 트랜잭션과 커넥션을 안정적으로 관리하는 것이 좋음.

이렇게 조정하면, 멀티스레딩 환경에서도 Connection Leak 없이 안정적으로 HikariCP와 Spring Batch를 운영할 수 있습니다!