-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
spark-sql smart_master_df.show() 실행 시 오류
23.03.18 18:41 작성 조회수 246
0
안녕하세요
지금까지 강의 잘 따라오고 있었는데요
spark ssh 접속하여 shell 실행 후
smartcar_master_df 생성까지 잘 되었는데
smartcar_master_df 조회를 하면 아래와 같은 오류가 발생합니다.
구글링해서 찾아봐도 해결이 안되는데 도움 부탁드립니다.
>> 오류메세지 >>
WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
답변을 작성해보세요.
0
Big.D
지식공유자2023.03.19
안녕하세요! 최미연님!
smartcar_master_df.show() 명령시 위와 같은 에러 메세지가 나온단 말씀이시죠?!
해당 메세지는 Spark-SQL이 실행 되기위한 파일럿 환경의 자원부족 or 의존성을 갖는 소프트웨어의 셧다운 등으로 발생 할 수 있습니다.
Spark-SQL이 실행 되는 파이프 라인은 이렇습니다.
Spark --> Hive(Meta) --> Yarn --> M/R --> HDFS
|----------------Zookeeper---------------|
smartcar_master_df.show() 명령전 CM > Home에서 위 서버들의 상태가 정상인지 확인해 주시고요,
다음으로 해당 실습중 사용 되지 않는 서버들은 정지해서 리소스를 많이 확보해 놓는게 좋습니다.
CM > Home > Flume, Kafka, HBase > 정지
> Cloudera Manager Servcie > 정지
요렇게 확인 부탁드립니다~ -빅디 드림
답변 1