-
질문 & 답변
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
parquet read시 partition 개수
23.02.09 16:33 작성 23.02.13 19:54 수정 조회수 323
0
안녕하세요
parquet을 read할때, 파티션 개수는 저장할때의 partition으로 고정될까요??
parquet을 read 할때 partiton 1개당 size가 너무 커서, partiton 개수를 늘려서 read 하고 싶습니다. 혹시 방법이 있을까용?
감사합니다.
답변을 작성해보세요.
1
미쿡엔지니어
지식공유자2023.02.09
네 제가 알기론 아쉽게도 없습니다. 저장을 그렇게 크게한 파이프라인을 바꾸셔야 돨 듯합니다. 일단 파일 수 자체가 작기 때문에 읽을때도 뭐 그대로 처음부터 그파티션들만 읽어야줘. 방법이 없습니다.
답변 1