inflearn logo
강의

講義

知識共有

シリコンバレーのエンジニアから学ぶPython Apache Spark

Word Count例題を通じてSparkの基本的な文法とパターンを学ぶ

word.txt 파일이 없습니다. 추가 부탁드립니다. ㅎ

524

SpeedGogo

投稿した質問数 16

1

질문은 많으시면 많을수록 좋습니다. 가능한 빠른 답변 드리겠습니다.

원활한 답변을 위해, 자세한 질문 사항 부탁드려요 :D

머신러닝 빅데이터 apache-spark

回答 2

1

SpeedGogo

선생님~ 노트북 자료는 어디서 받을수 있을까요? 수업중에 github 올려주신다고 들었던것같은데요. url 찾기가 어려운것같습니다.

1

altoformula

제가 원래 유투브에서 강의했던 거라... 여기서는 제공을 하지 않았었나 봅니다. 강의 수정해 놓겠습니다.

https://github.com/dimz119/learn-pyspark

여기 있습니다.

0

SpeedGogo

감사합니다.

0

altoformula

SpeedGogo님 질문 잘 하셨습니다.

저는 word.txt 파일에는 별게 없어서 ㅎㅎㅎ 제가 안올렸었는데 필요하시다니 grade.txt와 더불어 두파일을 하나로 압축해서 올려놨습니다.

그럼 수업하시다가 막히는 거 있으면 또 질문하세요 ㅎㅎ

0

SpeedGogo

수업전에 필요해서 올렸더니 내용이 별개없어서 만들어서 해도 되겠더라구요. 감사합니다. ㅎ

databricks에 cluster 메뉴가 없습니다.

0

62

2

주피터 사용 및 도커 설치

0

110

2

S3 폴더 구조에 따른 Static Partition Pruning, DPP 질문

0

92

2

broadcast Join과 boradcast + UDF 차이

0

76

2

append 모드 사용 시 집계

0

72

2

CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.

0

118

2

BroadCast 지원 가능 메모리 문의

0

95

2

rdd, dataframe, spark sql 각각 언제 사용할까요?

0

194

2

강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?

0

214

3

cdc 기반의 스트리밍 데이터 처리

1

235

2

broadcast 코드 예시 관련 질문

0

132

2

재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요

0

121

1

스트리밍 예제 실행 시 py4j.protocol.Py4JNetworkError 발생

0

222

2

Repartition과 Coalesce에 대해 궁금한 점이 있어요!

1

171

1

pyspark 현업에서 로컬 개발 및 운영

1

341

1

Spark Structured Streaming Gracefully shutdown 질문

1

456

2

PySpark Runtime Architecture 내용 중 질문이 있습니다!

1

219

1

docker 설치 이후에 터미널 여는 부분에서 막혔습니다

1

467

2

app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.

1

287

1

pyspark.SparkContext 실행 오류 관련 질문

2

388

1

스파크 아키텍쳐 관련 문의 드립니다.

1

358

2

3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?

1

322

1

데이터 엔지니터의 현 트렌드가 궁금합니다

1

477

1

스칼라강의도 제작하신다고 하셨는데 계획하고 계실까요??

1

300

2