repartition 전후 persist 용량 차이가 나는 이유가 궁금합니다

Question

안녕하세요! 강의 너무 잘듣고 있습니다. 강의 실습 중 Spark UI에서 repartition(6) 전후로 persist 용량이 다르게 보여서 질문드립니다. 13:10 쯤 repartition 이전에는 디스크 사용량이 약 247.5 MiB 로 보였는데, 14:47 쯤 repartition(6) 이후에는 Memory 401.5 MiB / Disk 43.1 MiB 로 표시되었습니다. 같은 dataframe에 대한 persist를 수행했는데 repartition 전후로 용량 차이가 나는 이유가 궁금합니다.

hyunjinkim · Answer

안녕하세요 홍석주님! 강의 잘 듣고 계시다니 좋은 소식이네요 🙂 질문에 답을 드리자면 Spark이 생각보다 똑똑해서 그렇습니다. 첫 번째 persist() 후 사이즈를 봤을 때 247.5MB밖에 안 나온 것은 별다른 트랜스폼 명령 없이 show()만 수행하면 show() 로 출력되는 일부 영역만 읽어들이기 때문입니다. (기본적으로 show() 는 20줄만 출력하므로 그에 해당하는 일부 영역만 읽어들입니다) 그래서 첫 번째 persist()를 하고 바로 show()를 하지 않고 .filter() 를 통해 != '' 같은 구문을 넣고 show()를 해보시면 아마 사이즈가 전체가 나올거에요. 아니면 show() 대신 count()를 넣어도 전체가 나올 것 같습니다. 한번 해보시고 결과를 남겨주시면 제가 또 답변드릴께요 🙂