질문&답변
하둡과 스파크 관계 질문
hdfs 위에 yarn 깔고 스파크를 깔고 spark-submit 하면 yarn에서 알아서 자원을 효율적으로 배분해 동작하겠네요! 답변 너무 감사합니다. 큰 도움이 되었습니다.
- 좋아요수
- 1
- 댓글수
- 3
- 조회수
- 643
passion701님의 게시글
- 수강평 작성수
- -
- 평균평점
- -
게시글 2
질문&답변
하둡과 스파크 관계 질문
3번에 대해 찾아본 결과 질문처럼 하려면 standalone 으로 깔 수도 있지만, spark-submit 시에 --master yarn 으로 작업 요청을 보내서 yarn 에서 스파크가 처리가 되는거 같습니다. 이말은 yarn 에서 스파크가 호환이 되는건가요?? 이때 spark job의 리소스는 어디꺼를 쓰게 되는건지도 궁금합니다. hdfs 의 datanode의 자원을 일정 부분 할당받는지.... 아니면 새로 cgroups?에 의해 자원이 할당되는지... 너무 두서없는 질문을 드리는것 같지만... 알려주시면 학습에 큰 도움이 될 것 같습니다 ㅠㅠ
- 좋아요수
- 1
- 댓글수
- 3
- 조회수
- 643