대용량 건수일 경우 처리가 궁금합니다
402
작성한 질문수 7
안녕하세요 강사님.
강의 잘보고 있습니다!
뒷 부분 강의에 있을 수도 있지만 현재 궁금한게
예를 들어 100만건 데이터를 reader -> writer 해야한다고 하면 청크 단위만 적절하게 조절해준다고 하면 out of memory 같은 에러는 발생하지 않을까요??
물론 시스템 사양에 따라 조금씩 다르겠지만 노하우가 궁금합니다.
감사합니다.
답변 1
0
네
데이터를 읽는 방식이 페이징 방식과 커서 방식이 있는데 두가지 방식 모두 어떻게 설정하느냐에 따라 메모리 부하에 영향을 줄 수 있습니다.
페이징 방식의 경우 한꺼번에 너무 많은 데이터를 메모리에 로드하지 않는다면 대용량의 데이터일지라도 메모리 사용에 큰 무리는 없습니다.
커서방식의 경우는 조회하고자 하는 데이터를 모두 로드하기 까지 커넥션이 열려 있고 메모리에 적재되기 때문에 페이징과 마찬가지로 한번에 많은 수의 fetchsize 를 설정해서 가져 오지 않는다면 메모리 사용에 큰 무리는 없습니다.
스프링 배치 버전 질문
0
124
1
소스코드가 어디에 있나요?
0
98
2
트랜잭션 예외
0
92
1
질문이 있습니다.
0
131
2
ChunkListener 에서 beforeChunk 의 실행 시점 관련 질문
0
126
2
여러 JOB 설정하는법
0
152
2
강의 자료 다른 방법 있을까요?
0
156
1
JobExecution과 JobExecutionContext와의 관계
0
188
2
특정 job만 실행
1
256
1
Batch 성능 질문
0
153
1
ItemReaderAdapter 종료
0
81
1
[ 강좌 Git 브랜치 문의 ] 섹션 9 > JdbcCursorItemReader, JpaCursorItemReader
0
179
2
Spring Batch 배포 질문
0
246
2
spring batch 버전
0
236
2
retry count 관련 질문
0
174
2
StepExecutionListener 의 afterStep 에서 return ExitStatus.FAILED 에 의한 동작에 의문이 갑니다.
0
330
2
jdbc, jpa 커서방식 조회 방식 차이 질문 (강사님께 답변 받고 싶습니다)
0
235
2
Multithread step과 AsyncItemProcessor
0
203
2
job 재실행
0
251
2
bean 생명주기 문제 도와주세요(@Scope("step"), @Autowired)
0
183
1
Multi-threaded-step과 Partitioning 차이 확인
0
177
2
jdbcCursorReader, jdbcPagingReader 질문
0
146
1
step muti-thread 질문
0
111
1
itemSteam open update close 질문
0
113
1