pyspark.SparkContext 실행 오류 관련 질문
378
작성한 질문수 2
안녕하세요. 실습 환경 구축 중 다음과 같은 에러 메세지가 발생합니다. 구글링을 통해 Java설치 및 JAVA_HOME 설정을 해줬는데 해결이 되지 않는 것 같습니다. 도움 부탁드립니다ㅠ
답변 1
0
안녕하세요 덕배님,
일단 질문 잘 하셨습니다. 그런데 Docker를 사용하면 Java나 JAVA_HOME을 설정할 일이 없는데, 혹시 직접 Spark 설정하시나요? 제가 Docker Image와 커맨드를 드린 이유도 각각의 컴퓨터 마다 다른 환경이기 때문에 문제가 많이 일어납니다. 가능하시다면 직접 설치마시고 밑에 링크를 따르셔서 Docker로 사용하시기 바랍니다.
제가 지금 https://github.com/dimz119/learn-pyspark?tab=readme-ov-file#start-pyspark-notebook-docker를 따라해 봤는데 아무런 문제가 일어나지 않습니다만 한번 이 링크를 따라 해보시겠어요?
마지막으로 혹시 Docker가 익숙하시지 않다면 제 강의 중에 쿠버네티스 강좌(https://inf.run/m14g)가 있는게 거기 미리보기로 설정되어 있으니 그거보고 따라하셔도 됩니다.
그래도 문제가 일어난다면 말씀해주세요
databricks에 cluster 메뉴가 없습니다.
0
43
2
주피터 사용 및 도커 설치
0
90
2
S3 폴더 구조에 따른 Static Partition Pruning, DPP 질문
0
76
2
broadcast Join과 boradcast + UDF 차이
0
62
2
append 모드 사용 시 집계
0
63
2
CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.
0
107
2
BroadCast 지원 가능 메모리 문의
0
88
2
rdd, dataframe, spark sql 각각 언제 사용할까요?
0
185
2
강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?
0
195
3
cdc 기반의 스트리밍 데이터 처리
1
230
2
broadcast 코드 예시 관련 질문
0
126
2
재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요
0
113
1
스트리밍 예제 실행 시 py4j.protocol.Py4JNetworkError 발생
0
213
2
Repartition과 Coalesce에 대해 궁금한 점이 있어요!
1
165
1
pyspark 현업에서 로컬 개발 및 운영
1
335
1
Spark Structured Streaming Gracefully shutdown 질문
1
443
2
PySpark Runtime Architecture 내용 중 질문이 있습니다!
1
212
1
docker 설치 이후에 터미널 여는 부분에서 막혔습니다
1
458
2
app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.
1
275
1
스파크 아키텍쳐 관련 문의 드립니다.
1
351
2
3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?
1
316
1
데이터 엔지니터의 현 트렌드가 궁금합니다
1
469
1
스칼라강의도 제작하신다고 하셨는데 계획하고 계실까요??
1
290
2
pyspark / spark 차이점 질문드립니다.
1
1156
1