Inflearn Community Q&A
asked
HDFS 상태 문제
Written on
·
567
0
파일럿 프로젝트 환경 구성
5.빅데이터 클러스터 구성 2 - 기본SW(하둡, 주키퍼 등) 설치
위 강의 실습 도중에 아래와 같은 HDFS의 2개 중요 상태 문제로 인하여 YARN이 시작되지 않습니다.
Answer 1
0
안녕하세요! 빅디 입니다.
Canary 헬스 체크 테스트에서 문제가 발생 했네요..
하둡 클러스터는 분산 노드들의 상태를 주기적으로 체크하게 되는데요,
이때 HDFS의 /tmp/.cloudera_health_monitoring_canary_files 에 테스트 정보를 기록 하게 됩니다.
만약 HDFS의 파일 시스템의 상태에 문제가 있으면 Canary 테스트가 실패 하고, 서비스가 중지 됩니다.
시작과 동시에 발생한거로 봐서는 HDFS가 Safe 모드에서 빠져 나오지 못한 것 같습니다.
(Safe 모드는 불안전한 파일럿 환경에서 자주 발생 합니다.)
Safe 모드가 되면 HDFS에 쓰기/수정 하기 기능이 중지 되고, Canary 테스트도 실패 합니다.
아래 절차대로 Safe 모드 상태 확인 및 해제를 진행해 보시기 바랍니다.
1. Server01 또는 02에 Putty로 접속
2. Safe Mode Is On 상태 확인
$ hdfs dfsadmin -safemode get
3. Safe Mode 해제 명령 수행
$ hdfs dfsadmin -safemode leave
4. Cloudera Manager > Home > HDFS > 재기동
- 빅디 올림
안녕하세요! 빅디 입니다.
HDFS가 시작조차 되지 않는 상황이군요..TT
2가지 방안을 제언드립니다.
첫번째로, 먼저 하둡로그를 분석해 원인을 파악해 보는 방법입니다.
HDFS와 Yarn에 대한 로그를 확인해야 합니다.
확인할 로그 위치는 아래와 같습니다.
Server 01/02에 각각 Putty 접속 >
/var/log/hadoop-hdfs/hadoop-....out 로그 확인
/var/log/hadoop-yarn/hadoop-....out 로그 확인
만약 로그 분석이 어려우시다면 아래의 절차대로 재설치 방법 입니다.
두번째로, Hadoop 재설치 입니다.
1. YARN 삭제 : Cloudera Manager 홈 > YARN > 삭제
2. HDFS 삭제 : Cloudera Manager 홈 > HDFS > 삭제
4. HDFS 설치 : Cloudera Manager 홈 > Cluster 1 > 서비스 추가 > HDFS 선택/설치
5. YARN 설치 : Cloudera Manager 홈 > Cluster 1 > 서비스 추가 > YARN 선택/설치
추가로 하드웨어 자원 상황도 체크해 보시기 바랍니다. 하둡이 기동 되는 순간 CPU/Mem/Disk의 자원이 부족한지도 확인해 보세요.
개인적으론 먼저 하둡 로그분석을 해보시고, 원인 파악이 어려우실때 재설치를 해보시는걸 추천 드립니다. - 빅디 올림
알려주신 방법으로 해보았는데 아래와 같은 문구로 시작이 안됩니다ㅠㅠㅠㅠ