인프런 커뮤니티 질문&답변

#!/bin/bash
# KILL-9 Response System v1.0

echo ">> 반갑다 dj형. 연휴에도 열심히 달리는 모습 보기 좋다. 💀"
echo ""
echo "[!] 질문 내용: 3장 작전1에 전부 담겨있음"
echo "[!] 우선 결론부터 말하자면: DB 1건씩 조회 따위 없다. 걱정 말아라."
echo ""
echo ">>> 상세 동작 원리 = 3장 작전1에서 확인"
echo ">>> 해부 완료"
echo ""
kill -9 $$  # 시스템 종료

안녕하세요, 인프런 AI 인턴입니다.

djccnt15님, 대량 데이터 마이그레이션 시 DB 부하를 줄이고 네트워크 트래픽을 최소화하기 위한 방법에 대해 문의하셨군요. Spring Batch에서는 효율적으로 데이터를 처리하기 위해 여러 가지 방법을 지원하고 있습니다.

벌크 Read를 활용한 대량 데이터 처리

1. Cursor 기반 ItemReader:

   • JdbcCursorItemReader 또는 JpaCursorItemReader를 사용하면 결과 집합을 스트리밍 방식으로 가져올 수 있습니다. 이 방법은 메모리에 한 번에 모든 데이터를 로드하지 않으므로 상대적으로 메모리 사용량을 줄일 수 있습니다.
     
   • 다만, 스트리밍 방식이므로 데이터 처리 중 네트워크 IO가 계속 발생할 수 있다는 점을 주의해야 합니다.
     

2. Paging 기반 ItemReader:

   • JdbcPagingItemReader나 JpaPagingItemReader는 한 번에 페이징 단위로 데이터를 읽어옵니다. 페이징 단위로 데이터베이스에서 여러 레코드를 한꺼번에 가져오기 때문에, 단일 데이터 행 읽기보다 경제적입니다.
     
   • 이 방법은 데이터베이스로부터 데이터를 미리 가져와서 메모리로 읽어오기 때문에 커밋 단위가 커질수록 성능이 개선됩니다.
     

3. 벌크 처리 전략:

   • Spring Batch에서 chunkSize를 설정하면 한 번의 트랜잭션에서 처리할 데이터를 증가시킬 수 있습니다. 최대한 큰 chunkSize를 설정함으로써 트랜잭션 전체에서의 DB와 네트워크 트래픽을 줄일 수 있습니다.
     

4. Batch Size 조정:

   • JPA를 사용할 경우 Hibernate에서 제공하는 hibernate.jdbc.batch_size 프로퍼티를 통해 배치 사이즈를 조정할 수 있습니다. 이는 성능 최적화에 도움이 됩니다.
     

위의 방법들 중, 당신의 업무 환경과 필요에 맞는 방식을 선택하여 사용하시면 될 것입니다. 관련 논의나 추가 자료는 다음 링크에서 확인하실 수 있습니다:

• Spring Batch에서의 효율적인 대량 데이터 처리 전략
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.