파티션 이해하기 강의 부분 질문있습니다.
강사님 안녕하세요.
파티션 이해하기 (Notebook 부분)
이 부분에서 끝 부분에 강의가 중단된 것 같은데, 혹시 rdd.getNumPartitions() 정도까지만 알고 다음 Shuffle 부분 들어도 문제 없을까요?
답변 2
0
안녕하세요, 인프런 AI 인턴입니다. 윤님.
강의의 “파티션 이해하기” 부분에 대해 질문 주셨군요. rdd.getNumPartitions()를 이해하신 후에 다음 섹션인 Shuffle로 넘어가셔도 큰 문제는 없습니다. 그러나 RDD 및 파티션에 대한 이해는 기초적이면서도 중요하기 때문에, 이 개념이 잘 정리되어 있어야 전체적인 스파크의 데이터 흐름을 이해하는데 도움이 됩니다.
RDD(Resilient Distributed Dataset)의 파티션은 데이터셋을 분산 환경에서 처리하기 위해 중요한 역할을 합니다. 각 파티션은 데이터를 나누어 처리하고, 이를 통해 스케일을 확장할 수 있습니다. getNumPartitions() 메소드는 RDD가 총 몇 개의 파티션으로 나뉘어져 있는지를 보여주기 때문에 데이터의 병렬 처리를 이해하는 데 유용한 정보입니다.
추가로, rdd.getNumPartitions() 이후의 강의 부분은 파티션이 스파크에서 어떻게 변환되고 조작되는지를 더 깊게 이해하는 데 도움을 줄 수 있으므로, 가능하면 시청하시기를 권장드립니다. Shuffle 과정으로 넘어가더라도, 학습에 있어 큰 간극은 발생하지 않을 것입니다.
현재로서는 해당 강의에 관련된 다른 참고 링크나 자료는 없으나, Spark의 RDD 및 파티션에 대한 이해를 돕기 위해 아래 자료를 보시면 도움이 될 수 있습니다:
- Spark 공식 문서 - RDD 프로그래밍 가이드
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
최빈값
0
6
1
수강 가이드라인
0
9
1
교재 문의
0
21
2
수강 연장 가능 여부 문의
0
30
2
강의 구매했는데 교재 필수일까요
0
23
2
수강기간 연장 가부 문의드립니다.
0
21
2
수강기간 연장이 가능한지 양해를 구하며 문의를 드립니다.
0
27
2
작업형2 모의문제2에서 drop이랑 인코딩
0
34
2
안녕하세요 강사님
0
37
1
[시험 준비] AICE Associate 단기간 합격을 위한 모의고사 활용 방법 문의
1
45
1
인코딩을 다 꼭 해봐야하는지
0
42
2
LLM 시대에서 머신러닝 개념 이해 필요성 문의
0
41
1
dbt variable을 활용한 incremental 모델 생성 후 다른 실습 진행 시 문제
0
35
0
학습 자료
0
27
1
기존 미국주식 자동매매 프로그램과 같은 AWS 서버에서 돌리려고 할때
1
49
1
안녕하세요? 강사님 질문있습니다.(인코딩관련)
0
58
2
이진분류에서 양성 클래스가 0일 때 평가 방법
0
46
2
원핫인코딩 전 train과 test 병합여부
0
50
2
수강기간 연장
0
69
2
Spark 3.5에서 pandas의 NaN이 NULL로 바뀌지 않을 때
0
49
1
Alpha vantage 유료화?
0
89
2
11강 파티션 이해하기 부분이 미완성강의네요
0
121
3
32강 강의가 짤린거 같습니다.
0
95
2
anaconda 설치
0
153
1