chunk size 관련 질문

@최원빈님 안녕하세요?

답변 드리겠습니다.

chunk_size 옵션으로 데이터를 나누어서 처리할 경우

메모리 공간에 나눈 만큼만 로드합니다.

애초에 chunk_size로 나누어서 로드하는 목적 자체가

한 번에 데이터를 메모리에 로드해서 처리하기 힘든 데이터 (즉, 사이즈가 10G혹은 20G가 넘어가서 PC의 RAM을 초과하는 경우)를 핸들링 하기 위한 목적이므로,

가용 가능한 만큼만 잘라서 로드해 주는 기능입니다.

따라서 데이터를 chunk (하나의 부분 덩어리) 별로 처리 및 조회해 주셔야 합니다 (예제 코드처럼 반복문 활용)

그렇다면, 질문 주신 내용인

"그러면 나중에 다시 이 데이터들을 다시 합쳐야 되는 건가요? 아니면 print가 아닌 display로 나타내어서 따로따로 보이는 건가요?"에 대한 답변은

파일형태로 저장을 해주시려면 나누어서 따로 저장할 수도 있고, 아니면 하나의 파일에 저장하고 싶다면 바로 저장해주시면 됩니다.

예제 코드에서는 반복문 안에서 출력 목적으로 display를 했기 때문에 따로따로 보이는 것이 맞습니다.

감사합니다.