inflearn logo
강의

Course

Instructor

Big Data Pipeline Master; Tools and Techniques for Success

[Assignment] Solution to 1 and 2

섹션7] 과제 2번 질문

Resolved

395

jasonking

5 asked

1

섹션7] 과제2번 질문있습니다. 
users1 = [(0, "ALEX"), (1, "BERT"), (2, "CURT"), (3, "DONT")]
subs1 = [(0, "Writing"), (0, "Gym"), (1, "Swimming")]
userRDD = sc.parallelize(users1)
subsRDD = sc.parallelize(subs1)

mergedRDD = userRDD.rightOuterJoin(subsRDD)
mergedRDD.map(lambda value : value[1][0] + " loves " + value[1][1])

조인되어서 collect 되었을 때 데이터 구조가 
key (leftvalue, rightvalue) 이렇게 반복구조가 되는 것 같은데 
답이 ['ALEX loves Writing'] 이것만 나오는 것이 아니라 
['ALEX loves Writing', 'ALEX loves Gym', 'BERT loves Swimming']
이렇게 나오는 이유를 모르겠습니다. 

좋은 강의 잘 듣고 있습니다. 
감사합니다. 

 

아래와 같은 양식으로 질문을 남겨주세요 🙂

 

빅데이터 hadoop elasticsearch logstash Kibana apache-spark s3-bucket

Answer 2

2

jphil

안녕하세요 jason.king님,

우선 제 강의를 수강해주시고 꼼꼼하게 학습해주시니 감사합니다.

밑에 mergeDD.collect() 를 로그를 찍어보면 아래와 같이 결과 값이 나오죠?

image

그리고 map 함수를 통해서 각각 element마다 위 lambda 식이 적용되면서
- value[1][0] : element 1번째 접근후 0번째 접근 value > alex, alex, bert
- value[1][1] : element 1번째 접근후 1번째 접근 value > writing, gym, swimmiing

mergedRDD.map(lambda value : value[1][0] + " loves " + value[1][1])

['ALEX loves Writing', 'ALEX loves Gym', 'BERT loves Swimming']

와 같은 결과 값을 얻게 됩니다.

만약 map(), flatMap() 이런 함수를 처음 접하시면 아직 익숙하지 않으실텐데, 3,4번 이상 비교하면서 사용해보시면서 금방 익숙해질수 있을겁니다 😀

 

 

0

jasonking

강사님. 친절한 답변 감사합니다.

딱 저부분이 궁금했어요~ !!!!

 

강의 pdf는 따로 제공안해주시는 건가요?

0

44

1

practice1 응답값 관련 질문

0

74

2

crontab 결과가 market.log 에 저장이 안돼요ㅠ

0

119

1

코딩 프로그램

0

121

1

색션2 실습 practice 1 질문드립니다.

0

127

1

색션2 실습 Carwling에 practice 1 부분 질문드립니다.

1

115

1

yahoo finacne 데이터 다운로드 안됩니다.

0

373

1

섹션2 가상환경 설치 오류

0

159

1

수강기간연장가능할까요?

0

201

1

수강 기한 연장이 가능할까요?

0

256

1

강의 연장 문의

0

181

1

wb.json , pandas.json 파일을 jupyter notebook 환경에서 read 가 안됩니다..ㅠ

0

531

3

[HDFS] Data integrity; checksum 관련 질문

1

349

2

안녕하세요. 강의 연장 신청 문의드립니다

0

401

2

jar input output_notice 문의

0

348

3

안녕하세요 강의 연장문의

0

326

2

aws ubuntu 22.04 크롬 드라이브 설치 및 경로 확인

0

1193

2

섹션2 실습1 코드 공유 문의..

0

426

3

Beautiful Soup 실습 출력 문의

0

169

1

venv 환경 패키지 설치 방법 문의

0

1391

2

가상머신 설치부터 안됩니다.

0

282

1

Replica Placement 질문입니다.

1

280

2

강의 연장 문의 드립니다.

0

319

2

섹션2 실습 1에서 질문 있습니다.

0

528

2