inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

Word Count 예제를 통해 스파크의 기본적인 문법과 패턴을 알아보기

Word Count 예제를 통해 기본 문법을 알아보기

457

kjsic

작성한 질문수 3

0

질문은 많으시면 많을수록 좋습니다. 가능한 빠른 답변 드리겠습니다.

원활한 답변을 위해, 자세한 질문 사항 부탁드려요 :D

 

해당강의 앞에 RDD 를 만드는 강의가 하나 있을꺼 같은데 빠진것 같습니다. 해당강의 서두에서 RDD 를 만드는 방법을 배웠다고 하는데 그게 없습니다.

bigdata 머신러닝 배워볼래요? apache-spark

답변 1

0

미쿡엔지니어

안녕하세요

일단 수강해 주셔서 감사하고 질문해 주셔서 감사합니다.

그 부분은 강의를 시작했을 때와 마찬가지로, "아파치 스파크를 Docker를 이용해 설치" 강의 마지막 부분에서 range를 이용한 RDD 만들기를 언급한 것입니다. 오해가 있으셨다면 죄송합니다.

중간에 제가 두 강의를 더 끼워 넣어서 오해 살만한 여지가 있는 것 같네요.

databricks에 cluster 메뉴가 없습니다.

0

51

2

주피터 사용 및 도커 설치

0

98

2

S3 폴더 구조에 따른 Static Partition Pruning, DPP 질문

0

78

2

broadcast Join과 boradcast + UDF 차이

0

64

2

append 모드 사용 시 집계

0

69

2

CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.

0

112

2

BroadCast 지원 가능 메모리 문의

0

91

2

rdd, dataframe, spark sql 각각 언제 사용할까요?

0

190

2

강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?

0

204

3

cdc 기반의 스트리밍 데이터 처리

1

231

2

broadcast 코드 예시 관련 질문

0

130

2

재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요

0

116

1

스트리밍 예제 실행 시 py4j.protocol.Py4JNetworkError 발생

0

217

2

Repartition과 Coalesce에 대해 궁금한 점이 있어요!

1

167

1

pyspark 현업에서 로컬 개발 및 운영

1

338

1

Spark Structured Streaming Gracefully shutdown 질문

1

450

2

PySpark Runtime Architecture 내용 중 질문이 있습니다!

1

216

1

docker 설치 이후에 터미널 여는 부분에서 막혔습니다

1

462

2

app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.

1

279

1

pyspark.SparkContext 실행 오류 관련 질문

2

382

1

스파크 아키텍쳐 관련 문의 드립니다.

1

353

2

3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?

1

320

1

데이터 엔지니터의 현 트렌드가 궁금합니다

1

473

1

스칼라강의도 제작하신다고 하셨는데 계획하고 계실까요??

1

300

2