chunk size 관련 질문
376
작성한 질문수 45
안녕하세요 선생님, read_csv를 할 때 chunksize관련 질문이 있어 글을 올립니다.
반복문을 사용하여 데이터를 로드 받은 것을 보니 각각 따로 데이터가 나뉘어져 있더라고요.
그러면 나중에 다시 이 데이터들을 다시 합쳐야 되는 건가요? 아니면 print가 아닌 display로 나타내어서 따로따로 보이는 건가요?
답변 1
1
@최원빈님 안녕하세요?
답변 드리겠습니다.
chunk_size 옵션으로 데이터를 나누어서 처리할 경우
메모리 공간에 나눈 만큼만 로드합니다.
애초에 chunk_size로 나누어서 로드하는 목적 자체가
한 번에 데이터를 메모리에 로드해서 처리하기 힘든 데이터 (즉, 사이즈가 10G혹은 20G가 넘어가서 PC의 RAM을 초과하는 경우)를 핸들링 하기 위한 목적이므로,
가용 가능한 만큼만 잘라서 로드해 주는 기능입니다.
따라서 데이터를 chunk (하나의 부분 덩어리) 별로 처리 및 조회해 주셔야 합니다 (예제 코드처럼 반복문 활용)
그렇다면, 질문 주신 내용인
"그러면 나중에 다시 이 데이터들을 다시 합쳐야 되는 건가요? 아니면 print가 아닌 display로 나타내어서 따로따로 보이는 건가요?"에 대한 답변은
파일형태로 저장을 해주시려면 나누어서 따로 저장할 수도 있고, 아니면 하나의 파일에 저장하고 싶다면 바로 저장해주시면 됩니다.
예제 코드에서는 반복문 안에서 출력 목적으로 display를 했기 때문에 따로따로 보이는 것이 맞습니다.
감사합니다.
29강 작업2형의 이상치 처리
0
20
2
수강기간 연장 문의드립니다!
0
30
1
9월에 실기출제기준 개정내역에 신설된부분
0
40
1
작업형2 모의문제2 결과값 관련 문의드립니다.
0
56
2
12회차 시험 실패 후 13회 도전 예정입니다.
0
47
1
random_state 값
0
66
2
강의 연장 문의 드립니다.
0
58
2
강의 연장 문의
0
57
2
오징어게임
0
61
1
object 컬럼이 여러 개인 경우 인코딩 전처리 방법
0
48
2
데이터 전처리 순서 관련
0
60
2
작업형2 모의문제 데이터 불러오기
0
60
2
강의 연장 부탁드립니다!
0
66
2
2회 기출유형(작업형1) Warning
0
74
2
describe()
0
53
2
수강기간 연장 문의
0
83
2
빅데이터분석기사 실기 인코딩
0
69
2
수강기간 연장문의
0
78
2
한권으로 끝내는 판다스 노트
0
297
1
강의 누락 관련 질문
0
266
1
강의 교재 관련 질문
0
289
1
연습문제 #10 관련질문
0
258
1
연습문제 #9 - 타이타닉 승객 나이 결측치 채우기 (해설) 강의 질문
0
429
1
.5f 관련 질문
0
444
1