HDFS 미달 복제 블록 문제

안녕하세요! "ksk8083"님!

우선 복제계수는 다시 "1"로 바꿔 주시고 > HDFS 재시작 해주시고요..

그리고 다음 명령으로 미달 복제 블록 현상은 해결 하실 수 있습니다.

$ hadoop fs -setrep 1 /

위 명령에서 -setrep 1 의미는 HDFS에 모든 복제계수를 1로 맞추라는 명령입니다.

현재 저사양 환경기준 데이터노드가 1개이므로 HDFS에 저장된 블록의 계수도 1개를 유지 해야 합니다.

파일럿 환경에서 미복제블록 경고가 뜨는건 복제 계수를 "1"로 설정 하기전에 클러스터에 생성된 파일들로 인해 발생 할 수 있습니다.

참고로 하둡의 데이터 노드들은 보통 3대이상 수십~수백대의 데이터 노드로 구성 하고, 블록의 복제 계수를 3으로 설정해 가용성을 확보 합니다. 하지만 파일럿 환경은 개인 PC의 한계로 데이터 노드를 1대만 유지 해야하고, 데이터 블록도 복제 할 수 있는 데이터 노드가 없어 1개로 설정을 한것 입니다.

만약 고사양 PC를 사용 했다면...데이터 노드를 2~3개를 유지 할 수 있고, 블록 복제계수도 최대 3개 까지 가능 합니다. 하지만 개인의 PC에선 하둡의 성능과 가용성을 테스트 하기에는 한계가 있고, 파일럿 프로젝트에서도 관련 내용은 다루지 않습니다~

- 빅디 드림 

가이드 해주신 대로 하니 해결되었습니다!

정말 감사합니다!

답변 감사드립니다!

에러 문구를 보고 만지다가 부족한 복제 블럭 모니터링 임계값을 경고 안함 심각 안함으로 설정하는 방법으로 해결했었는데 강사님께서 말씀하신 대로 한 번 해보겠습니다!

그런데 혹시 임계 수치 경고를 안함으로 해도 상관없을까요?

빠른 답변 정말 감사합니다!