Inflearn Community Q&A
asked
대용량 건수일 경우 처리가 궁금합니다
Written on
·
402
0
안녕하세요 강사님.
강의 잘보고 있습니다!
뒷 부분 강의에 있을 수도 있지만 현재 궁금한게
예를 들어 100만건 데이터를 reader -> writer 해야한다고 하면 청크 단위만 적절하게 조절해준다고 하면 out of memory 같은 에러는 발생하지 않을까요??
물론 시스템 사양에 따라 조금씩 다르겠지만 노하우가 궁금합니다.
감사합니다.
대용량spring-boot청크spring-batch배치
Quiz
Spring Batch 청크 처리에서 '청크'의 주된 목적은 무엇일까요?
개별 태스크 실행 단위를 정의합니다.
작업 매개변수 및 실행 컨텍스트를 관리합니다.
배치 처리를 위해 여러 항목을 묶어 트랜잭션 단위로 처리합니다.
개별 항목에 대한 예외만 처리합니다.
Answer 1
0
leaven
Instructor
네
데이터를 읽는 방식이 페이징 방식과 커서 방식이 있는데 두가지 방식 모두 어떻게 설정하느냐에 따라 메모리 부하에 영향을 줄 수 있습니다.
페이징 방식의 경우 한꺼번에 너무 많은 데이터를 메모리에 로드하지 않는다면 대용량의 데이터일지라도 메모리 사용에 큰 무리는 없습니다.
커서방식의 경우는 조회하고자 하는 데이터를 모두 로드하기 까지 커넥션이 열려 있고 메모리에 적재되기 때문에 페이징과 마찬가지로 한번에 많은 수의 fetchsize 를 설정해서 가져 오지 않는다면 메모리 사용에 큰 무리는 없습니다.