inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크

Word Count 예제를 통해 스파크의 기본적인 문법과 패턴을 알아보기

word.txt 파일이 없습니다. 추가 부탁드립니다. ㅎ

516

SpeedGogo

작성한 질문수 14

1

질문은 많으시면 많을수록 좋습니다. 가능한 빠른 답변 드리겠습니다.

원활한 답변을 위해, 자세한 질문 사항 부탁드려요 :D

머신러닝 빅데이터 apache-spark

답변 2

1

SpeedGogo

선생님~ 노트북 자료는 어디서 받을수 있을까요? 수업중에 github 올려주신다고 들었던것같은데요. url 찾기가 어려운것같습니다.

1

미쿡엔지니어

제가 원래 유투브에서 강의했던 거라... 여기서는 제공을 하지 않았었나 봅니다. 강의 수정해 놓겠습니다.

https://github.com/dimz119/learn-pyspark

여기 있습니다.

0

SpeedGogo

감사합니다.

0

미쿡엔지니어

SpeedGogo님 질문 잘 하셨습니다.

저는 word.txt 파일에는 별게 없어서 ㅎㅎㅎ 제가 안올렸었는데 필요하시다니 grade.txt와 더불어 두파일을 하나로 압축해서 올려놨습니다.

그럼 수업하시다가 막히는 거 있으면 또 질문하세요 ㅎㅎ

0

SpeedGogo

수업전에 필요해서 올렸더니 내용이 별개없어서 만들어서 해도 되겠더라구요. 감사합니다. ㅎ

databricks에 cluster 메뉴가 없습니다.

0

48

2

주피터 사용 및 도커 설치

0

93

2

S3 폴더 구조에 따른 Static Partition Pruning, DPP 질문

0

77

2

broadcast Join과 boradcast + UDF 차이

0

63

2

append 모드 사용 시 집계

0

67

2

CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.

0

108

2

BroadCast 지원 가능 메모리 문의

0

90

2

rdd, dataframe, spark sql 각각 언제 사용할까요?

0

188

2

강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?

0

199

3

cdc 기반의 스트리밍 데이터 처리

1

231

2

broadcast 코드 예시 관련 질문

0

129

2

재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요

0

116

1

스트리밍 예제 실행 시 py4j.protocol.Py4JNetworkError 발생

0

215

2

Repartition과 Coalesce에 대해 궁금한 점이 있어요!

1

166

1

pyspark 현업에서 로컬 개발 및 운영

1

338

1

Spark Structured Streaming Gracefully shutdown 질문

1

448

2

PySpark Runtime Architecture 내용 중 질문이 있습니다!

1

214

1

docker 설치 이후에 터미널 여는 부분에서 막혔습니다

1

459

2

app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.

1

277

1

pyspark.SparkContext 실행 오류 관련 질문

2

379

1

스파크 아키텍쳐 관련 문의 드립니다.

1

353

2

3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?

1

320

1

데이터 엔지니터의 현 트렌드가 궁금합니다

1

472

1

스칼라강의도 제작하신다고 하셨는데 계획하고 계실까요??

1

296

2