대용량 건수일 경우 처리가 궁금합니다

Question

안녕하세요 강사님.

강의 잘보고 있습니다!

뒷 부분 강의에 있을 수도 있지만 현재 궁금한게

예를 들어 100만건 데이터를 reader -> writer 해야한다고 하면 청크 단위만 적절하게 조절해준다고 하면 out of memory 같은 에러는 발생하지 않을까요??

물론 시스템 사양에 따라 조금씩 다르겠지만 노하우가 궁금합니다.

감사합니다.

Answer

네

데이터를 읽는 방식이 페이징 방식과 커서 방식이 있는데 두가지 방식 모두 어떻게 설정하느냐에 따라 메모리 부하에 영향을 줄 수 있습니다.

페이징 방식의 경우 한꺼번에 너무 많은 데이터를 메모리에 로드하지 않는다면 대용량의 데이터일지라도 메모리 사용에 큰 무리는 없습니다.

커서방식의 경우는 조회하고자 하는 데이터를 모두 로드하기 까지 커넥션이 열려 있고 메모리에 적재되기 때문에 페이징과 마찬가지로 한번에 많은 수의 fetchsize 를 설정해서 가져 오지 않는다면 메모리 사용에 큰 무리는 없습니다.