PySpark Runtime Architecture 내용 중 질문이 있습니다!
212
작성한 질문수 1
Spark Architecture(스파크 아키텍처) 소개 강의 내용 중 뒷 단에 있는 node에도 JVM이 있는 걸로 보이는데 Application Master(in Worker Node) 안에 있는 JVM과 오른쪽 노드들 안에 있는 JVM간의 차이점과 역할이 궁금합니다!
답변 1
0
안녕하세요 유혜승님,
좋은 질문인데, 그 역할과 책임에 큰 차이가 있습니다.
애플리케이션 마스터 JVM: 애플리케이션 마스터의 JVM은 애플리케이션의 수명 주기와 리소스를 관리합니다. 클러스터 매니저(예: YARN, Mesos, Kubernetes)와 리소스를 협상하고 작업 스케줄링 및 작업 분배를 담당합니다. 즉, 애플리케이션 마스터 JVM은 작업을 어디에서 언제 실행할지 결정하는 역할을 합니다.
워커 노드 JVM: 각 워커 노드의 JVM은 애플리케이션 마스터에 의해 할당된 작업을 실행하는 책임을 집니다. 워커의 JVM은 실제 데이터를 처리하고, 계산 작업을 수행하며, 결과를 반환하거나 저장합니다. 각 워커 JVM은 작업 실행에 있어 독립적으로 운영됩니다.
도움이 되셨길 바랍니다!
databricks에 cluster 메뉴가 없습니다.
0
43
2
주피터 사용 및 도커 설치
0
90
2
S3 폴더 구조에 따른 Static Partition Pruning, DPP 질문
0
76
2
broadcast Join과 boradcast + UDF 차이
0
62
2
append 모드 사용 시 집계
0
63
2
CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.
0
107
2
BroadCast 지원 가능 메모리 문의
0
88
2
rdd, dataframe, spark sql 각각 언제 사용할까요?
0
185
2
강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?
0
195
3
cdc 기반의 스트리밍 데이터 처리
1
230
2
broadcast 코드 예시 관련 질문
0
126
2
재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요
0
113
1
스트리밍 예제 실행 시 py4j.protocol.Py4JNetworkError 발생
0
213
2
Repartition과 Coalesce에 대해 궁금한 점이 있어요!
1
165
1
pyspark 현업에서 로컬 개발 및 운영
1
335
1
Spark Structured Streaming Gracefully shutdown 질문
1
443
2
docker 설치 이후에 터미널 여는 부분에서 막혔습니다
1
458
2
app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.
1
275
1
pyspark.SparkContext 실행 오류 관련 질문
2
378
1
스파크 아키텍쳐 관련 문의 드립니다.
1
351
2
3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?
1
316
1
데이터 엔지니터의 현 트렌드가 궁금합니다
1
469
1
스칼라강의도 제작하신다고 하셨는데 계획하고 계실까요??
1
290
2
pyspark / spark 차이점 질문드립니다.
1
1156
1