-
질문 & 답변
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
PySpark Runtime Architecture 내용 중 질문이 있습니다!
24.04.16 21:58 작성 조회수 51
1
Spark Architecture(스파크 아키텍처) 소개 강의 내용 중 뒷 단에 있는 node에도 JVM이 있는 걸로 보이는데 Application Master(in Worker Node) 안에 있는 JVM과 오른쪽 노드들 안에 있는 JVM간의 차이점과 역할이 궁금합니다!
답변을 작성해보세요.
0
미쿡엔지니어
지식공유자2024.04.17
안녕하세요 유혜승님,
좋은 질문인데, 그 역할과 책임에 큰 차이가 있습니다.
애플리케이션 마스터 JVM: 애플리케이션 마스터의 JVM은 애플리케이션의 수명 주기와 리소스를 관리합니다. 클러스터 매니저(예: YARN, Mesos, Kubernetes)와 리소스를 협상하고 작업 스케줄링 및 작업 분배를 담당합니다. 즉, 애플리케이션 마스터 JVM은 작업을 어디에서 언제 실행할지 결정하는 역할을 합니다.
워커 노드 JVM: 각 워커 노드의 JVM은 애플리케이션 마스터에 의해 할당된 작업을 실행하는 책임을 집니다. 워커의 JVM은 실제 데이터를 처리하고, 계산 작업을 수행하며, 결과를 반환하거나 저장합니다. 각 워커 JVM은 작업 실행에 있어 독립적으로 운영됩니다.
도움이 되셨길 바랍니다!
답변 1