종료 및 시작

Question

안녕하세요. 강의 매우 잘 듣고 있습니다.

클라우데라 매니저에서 이 강의에서 본대로 클러스터를 종료하고 서버를 종료 후 다시 켰습니다.

1. 서버를 키고,

2. 클라우데라 매니저에서 Cluster에서 시작 버튼을 누르자,

이 화면이 30분 이상 계속 진행되면서 진행이 되지 않습니다.

혹시 어떤 문제가 생긴건지 알 수 있을까요??

원래는 10분도 걸리지 않아 모두 시작이 완료되었었습니다.

처음부터 다시 환경 세팅을 해야 할지.. 고민중입니다..ㅠㅠ

이 문제로 인해 수집 단계에서 다시 되돌아와서 여쭤봅니다.

감사합니다.

+ 추가) 로그 메시지를 보니

이런 에러가 발생합니다. 원인이 뭔지 알려주실 수 있을까요??

Answer

안녕하세요! 빅디입니다.

FSImage가 깨진것 같습니다.ㅠㅠ

FSImage는 하듭 파일의 메타정보를 스냅삽 형식으로 생성하는 파일이고 요걸 네임노드가 로드하게 됩니다. 이파일이 깨지면 네임노드가 정상작동 하지 않는데요..HA로 구성되지 않은 파일럿 환경에선 위와같은 문제시 하둡 전체에 문제가 됩니다.

FSImage를 수동으로 복구하는 방법도 있지만 이는 하둡에대한 깊이있는 이해가 필요합니다.관련 자료는 인터넷상에 꼭 참고해 보시고요..

우선 네임노드 포맷으로 조치해 보시기 바랍니다. 그러면 fsimage가 모두 초기화 되고, 하둡에 적재된 파일도 초기화 됩니다.

네임노드 포맷은 CM홈 > hdfs > 구성 에서 상단의 콤보박스를 선택해 네임노드 포맷을 선택하시면 됩니다.

하둡이 좀 어렵습니다..^^;

하지만 그만큼 가치가 있고, 빅데이터 기술의 중심에 있는 시스템이기도 합니다.

- 빅디 드림

Answer

빠른 답변 감사합니다.

아마 종료 및 시작 강의를 듣기 전에 서버를 종료 및 시작하는 과정에서 비정상적인 단계를 거쳐서 이런 문제가 발생하지 않았나 싶습니다..ㅠ

답변을 보기 전에 다시 설정하는 단계를 복습하였는데, 앞선 설정 단계를 다시 거치는 것도 생각보다 오랜 시간이 걸리지 않아 문제가 있으신 분들은 다시 재설정하는 것도 나쁘지 않은 방법인듯 합니다.

저는 네임노드 포맷 후 여러 과정을 거쳐 해결하였습니다.

덕분에 해결하고 다음 강의를 듣고 있습니다.

좋은 강의 감사합니다.