대용량 데이터 Join

상세한 답변 정말 감사합니다.

1) join 함수를 사용하였습니다. sql을 사용하는 것과 join 을 사용하는 것에 차이가 있을 수가 있나요?? 방금 physhical plan을 비교해보았는데, 동일했습니다.

2) Disk Space가 아니라, 데이터가 크면 cache나 persist를 할 수 밖에 없는지 궁금했습니다.ㅎㅎ! 이렇게 쓰는게 맞는가 해서요

3) shuffle 속도를 높이는 튜닝도 있을까요???

4) 조인시 필요한 데이터만 필터 후 조인하고 있습니다.

1) 네 가끔식 쿼리에 따라 차이가 나는 경우가 있습니다.

2) 거의 80~90는 Persist를 사용하신다고 보시면 됩니다. 그리고 최대한 디스크에 흘리지 않는게 최대 관건입니다.(Disk Spill한다고 하죠)

3) 네 여러가지가 있는데, 그 중 하나가 최대한 좋은(메모리 많은) 인스턴스를 단시간 사용하시고, 그 인스턴스 개수를 줄이는게 셔플을 줄이는 좋은 방법입니다.

4) 굿입니다! ㅎㅎ