HDFS 상태 문제
615
작성한 질문수 1
파일럿 프로젝트 환경 구성
5.빅데이터 클러스터 구성 2 - 기본SW(하둡, 주키퍼 등) 설치
위 강의 실습 도중에 아래와 같은 HDFS의 2개 중요 상태 문제로 인하여 YARN이 시작되지 않습니다.
답변 1
0
안녕하세요! 빅디 입니다.
Canary 헬스 체크 테스트에서 문제가 발생 했네요..
하둡 클러스터는 분산 노드들의 상태를 주기적으로 체크하게 되는데요,
이때 HDFS의 /tmp/.cloudera_health_monitoring_canary_files 에 테스트 정보를 기록 하게 됩니다.
만약 HDFS의 파일 시스템의 상태에 문제가 있으면 Canary 테스트가 실패 하고, 서비스가 중지 됩니다.
시작과 동시에 발생한거로 봐서는 HDFS가 Safe 모드에서 빠져 나오지 못한 것 같습니다.
(Safe 모드는 불안전한 파일럿 환경에서 자주 발생 합니다.)
Safe 모드가 되면 HDFS에 쓰기/수정 하기 기능이 중지 되고, Canary 테스트도 실패 합니다.
아래 절차대로 Safe 모드 상태 확인 및 해제를 진행해 보시기 바랍니다.
1. Server01 또는 02에 Putty로 접속
2. Safe Mode Is On 상태 확인
$ hdfs dfsadmin -safemode get
3. Safe Mode 해제 명령 수행
$ hdfs dfsadmin -safemode leave
4. Cloudera Manager > Home > HDFS > 재기동
- 빅디 올림
0
안녕하세요! 빅디 입니다.
HDFS가 시작조차 되지 않는 상황이군요..TT
2가지 방안을 제언드립니다.
첫번째로, 먼저 하둡로그를 분석해 원인을 파악해 보는 방법입니다.
HDFS와 Yarn에 대한 로그를 확인해야 합니다.
확인할 로그 위치는 아래와 같습니다.
Server 01/02에 각각 Putty 접속 >
/var/log/hadoop-hdfs/hadoop-....out 로그 확인
/var/log/hadoop-yarn/hadoop-....out 로그 확인
만약 로그 분석이 어려우시다면 아래의 절차대로 재설치 방법 입니다.
두번째로, Hadoop 재설치 입니다.
1. YARN 삭제 : Cloudera Manager 홈 > YARN > 삭제
2. HDFS 삭제 : Cloudera Manager 홈 > HDFS > 삭제
4. HDFS 설치 : Cloudera Manager 홈 > Cluster 1 > 서비스 추가 > HDFS 선택/설치
5. YARN 설치 : Cloudera Manager 홈 > Cluster 1 > 서비스 추가 > YARN 선택/설치
추가로 하드웨어 자원 상황도 체크해 보시기 바랍니다. 하둡이 기동 되는 순간 CPU/Mem/Disk의 자원이 부족한지도 확인해 보세요.
개인적으론 먼저 하둡 로그분석을 해보시고, 원인 파악이 어려우실때 재설치를 해보시는걸 추천 드립니다. - 빅디 올림
주제영역3 데이타 조회 문의
0
58
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
138
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
139
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
113
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2