Learn Python Apache Spark from Silicon Valley Engineers
Introduction to Cluster & Spark Architecture
스파크 아키텍쳐 관련 문의 드립니다.
351
31 asked
스파크 아키텍쳐 부분을 보는데
Yarn Runtime Architecture 에서 4.Negotiate resources 이후 5과정을
갈때 속해 있던 Slave Node 에서 실행되는게 아니라 굳이 다른 Slave Node 로 가서 실행을 하는데 이유가 있나요?
4.Negotiate resources 과정을 리소스 분배? 라우팅 같은 개념으로 이해를 하면 될까요?
Answer 2
1
안녕하세요, 비슷한 질문인 것 같아 답변으로 질문드립니다!
그러면 여러 개의 slave node가 있을 때에는 같은 slave node에서 task container를 실행할지, 다른 slave node에서 task container를 실행할지를 고르는 기준은 어떻게 되는건가요??
감사합니다!
0
안녕하세요 jieunjeon818님,
좋을 질문이네요. 일단 이러한 일들은 스파크 스케줄러에서 관리를 하고, Hadoop YARN이나 Mesos같은 프레임워크에서 선택된다면, 리소스 관리자에게 물어보게 됩니다. 리소스가 식별되면 스파크 스케줄러는 사용 가능한 노드에 태스크를 어떻게 분배할지 결정하게 되고, 데이터 지역성(데이터가 있는 노드에서 태스크를 실행하는 것)과 사용 가능한 리소스, 잠재적인 병목 현상 등과 같은 요소를 고려합니다.
기본적으로 스파크는 태스크가 필요로 하는 데이터가 있는 노드에 태스크를 스케줄링하려고 합니다. 이를 통해 네트워크를 통한 데이터 이동을 최소화하고 성능을 향상시킵니다. 스케줄러가 노드에 태스크 할당을 결정하면, 각 워커 노드 내의 컨테이너(또는 실행기) 내에서 태스크가 실행됩니다
도움이 되었을까요?
0
안녕하세요 backboss님,
좋은 질문입니다. 같은 노드에서 리소스를 받아 실행을 하기도 하는데, Application master 다른 노드의 리소스도 액세스 가능하다는 것을 보여주기 위해서 그림을 그렇게 그려놓았습니다 ㅎㅎㅎ Slave노드가 하나라면 다 거기서 처리하겠죠.
좋은 질문 감사합니다!
databricks에 cluster 메뉴가 없습니다.
0
43
2
주피터 사용 및 도커 설치
0
90
2
S3 폴더 구조에 따른 Static Partition Pruning, DPP 질문
0
76
2
broadcast Join과 boradcast + UDF 차이
0
62
2
append 모드 사용 시 집계
0
63
2
CDC 기반 스파크 아키텍처 구현 방법이 궁금합니다.
0
107
2
BroadCast 지원 가능 메모리 문의
0
88
2
rdd, dataframe, spark sql 각각 언제 사용할까요?
0
185
2
강의 후반부에 나온 실습 코드는 어디서 받을 수 있나요?
0
195
3
cdc 기반의 스트리밍 데이터 처리
1
230
2
broadcast 코드 예시 관련 질문
0
126
2
재생에 문제가 생겼어요 라는 메세지가 자꾸 뜨네요
0
113
1
스트리밍 예제 실행 시 py4j.protocol.Py4JNetworkError 발생
0
213
2
Repartition과 Coalesce에 대해 궁금한 점이 있어요!
1
165
1
pyspark 현업에서 로컬 개발 및 운영
1
335
1
Spark Structured Streaming Gracefully shutdown 질문
1
443
2
PySpark Runtime Architecture 내용 중 질문이 있습니다!
1
212
1
docker 설치 이후에 터미널 여는 부분에서 막혔습니다
1
458
2
app-<timestamp>-<executor_id> 폴더가 spark-events 내부에 생기게 하고 싶습니다.
1
275
1
pyspark.SparkContext 실행 오류 관련 질문
2
378
1
3.0에서 추가된 shuffle_hash, shuffle_replicate_nl hint는 어떤 상황에서 쓰는게 좋을까요?
1
316
1
데이터 엔지니터의 현 트렌드가 궁금합니다
1
469
1
스칼라강의도 제작하신다고 하셨는데 계획하고 계실까요??
1
290
2
pyspark / spark 차이점 질문드립니다.
1
1156
1