하둡과 스파크 관계 질문

hdfs 위에 yarn 깔고 스파크를 깔고 spark-submit 하면 yarn에서 알아서 자원을 효율적으로 배분해 동작하겠네요! 답변 너무 감사합니다. 큰 도움이 되었습니다.

하둡과 스파크 관계 질문

3번에 대해 찾아본 결과 질문처럼 하려면 standalone 으로 깔 수도 있지만, spark-submit 시에 --master yarn 으로 작업 요청을 보내서 yarn 에서 스파크가 처리가 되는거 같습니다. 이말은 yarn 에서 스파크가 호환이 되는건가요?? 이때 spark job의 리소스는 어디꺼를 쓰게 되는건지도 궁금합니다. hdfs 의 datanode의 자원을 일정 부분 할당받는지.... 아니면 새로 cgroups?에 의해 자원이 할당되는지... 너무 두서없는 질문을 드리는것 같지만... 알려주시면 학습에 큰 도움이 될 것 같습니다 ㅠㅠ