spark-sql smart_master_df.show() 실행 시 오류
421
1 asked
안녕하세요
지금까지 강의 잘 따라오고 있었는데요
spark ssh 접속하여 shell 실행 후
smartcar_master_df 생성까지 잘 되었는데
smartcar_master_df 조회를 하면 아래와 같은 오류가 발생합니다.
구글링해서 찾아봐도 해결이 안되는데 도움 부탁드립니다.
>> 오류메세지 >>
WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
Answer 1
0
안녕하세요! 최미연님!
smartcar_master_df.show() 명령시 위와 같은 에러 메세지가 나온단 말씀이시죠?!
해당 메세지는 Spark-SQL이 실행 되기위한 파일럿 환경의 자원부족 or 의존성을 갖는 소프트웨어의 셧다운 등으로 발생 할 수 있습니다.
Spark-SQL이 실행 되는 파이프 라인은 이렇습니다.
Spark --> Hive(Meta) --> Yarn --> M/R --> HDFS
|----------------Zookeeper---------------|
smartcar_master_df.show() 명령전 CM > Home에서 위 서버들의 상태가 정상인지 확인해 주시고요,
다음으로 해당 실습중 사용 되지 않는 서버들은 정지해서 리소스를 많이 확보해 놓는게 좋습니다.
CM > Home > Flume, Kafka, HBase > 정지
> Cloudera Manager Servcie > 정지
요렇게 확인 부탁드립니다~ -빅디 드림
맥북 환경구성 에러
0
56
2
주제영역3 데이타 조회 문의
0
58
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
100
2
gcc 설치 에러
0
138
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
83
2
psycopg2==2.6.2. 에러
0
152
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
145
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
140
2
가상환경 내보내기
0
114
1
SpoolDIR 폴더로 옮기
0
113
2