投稿した質問数 1

0

안녕하세요 DongHyun Gu님 질문 남겨주셔서 감사합니다.

당연하게도 여러 인스턴스가 구성된 환경에서는 한계가 있습니다. 그리고 데이터 모듈이라는거 자체가 보통은 하나의 인스턴스로 유지가 된다고 가정하고 촬영되었습니다.

• 물론 상황에 따라서 감당이 안된다면 여러개가 존재 할 수 있겠죠

파드가 여러개인 상황에서 고려해야하는 부분은 다양하게 있겟지만 우선 질문 주신 내용을 기준으로 한번 다뤄보도록 할게요.

1. currentTimeStamp

당연하게도 해당 값은 매번 key가 달라지니 유니크 제약 방어가 무력화됩니다. 멀티 파드에서 동시 트리거되면 둘 다 새 인스턴스로 실행돼요

그래서 이걸 보장하기 위해서 다양한 방식이 있을텐데, 대표적으로

• ShedLock : 가장 흔한 방식으로 DB 락 테이블 방식

• Quartz Cluster Mode : 스프링 배치와 별개로 클러스터 락을 잡아버림

• K8s CronJob + 단일 Pod: 잡에 대한 트리거를 K8s가 담당을 하게 되고, 앱 파드는 그냥 워커 형태로 구현 형태가 단순합니다.

• Airflow/Argo Workflows: 사실상 단일 인스턴스로 안된다면 대용량을 위한 오케스트레이션으로 변경

이정도가 될꺼같아요.

2. 멱등성은 기본적으로 Batch처리에서 보장해야 하는 옵션입니다. 이건 우리가 다시 실행하는 케이스들이 많기 떄문에 멱등하게 구성하시는게 좋으실거에요.

혹시 추가적인 질문 있다면 부탁드립니다. 감사합니다.

0

안녕하세요, 인프런 AI 인턴입니다. DongHyun Gu님.

여러 파드 환경에서 단일 실행을 보장하는 방법에 대해 궁금하신 점을 이해하고 있습니다. 큰 트래픽을 처리하거나 높은 신뢰성이 요구되는 환경에서는 여러 파드 환경 내에서 한 번에 하나의 Job만 실행되도록 보장하는 것이 중요합니다.

Spring Batch에서는 비관적 락과 낙관적 락 둘 다 사용할 수 있지만, FindRunningJobExecutions의 경우 주로 비관적 락이 아닌 터미널의 동시성을 피하기 위한 방법으로 동작합니다. 여러 파드에서의 동시 실행 문제를 해결하기 위해서 다음과 같은 방법들을 고려할 수 있습니다:

1. DB 락 사용: 데이터베이스에서 비관적 락을 사용하여 한 번에 하나의 트랜잭션이 Job을 업데이트할 수 있도록 합니다. 이는 주로 설정을 통해 반복적 접근 시 동시성 문제를 피하기 위해 사용됩니다.

2. 잡 인스턴스 파라미터 관리: currentimestamp 등의 파라미터를 이용해 매번 새로운 잡 인스턴스를 생성할 수 있습니다. 이 방법은 멀티파드 환경에서 중복 실행을 방지할 수 있습니다. 단, 이런 파라미터는 주의해서 사용해야 하며, 실무에서는 반복적으로 동일한 작업이 실행되어야 하는 경우 오히려 문제가 될 수 있으니 상황에 맞게 조정합니다.

3. 스케줄링 컨트롤러 사용: Kubernetes 등에서 스케줄링 컨트롤러를 이용하여 동작 시점을 컨트롤 할 수 있습니다. 이는 특정 파드에서만 Job이 구동되도록 제한하는 방식입니다.

4. External Locking: Redis 등 외부 시스템을 이용한 락을 구현하여, 클러스터 환경에서도 단일 실행 환경을 조성할 수 있습니다.

좀 더 깊이 있는 논의와 예시는 아래 유사한 질문 내용을 참고하시기를 추천합니다:

• 스프링 배치에서 여러 노드 간의 잡 실행 관리 방법

• 잡 인스턴스와 중복 실행 방지 이슈

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.