강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

조sinai님의 프로필 이미지
조sinai

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

복제 계수 오류 문의

작성

·

200

0

안녕하세요, Big.D 님.  

하둡 명령어 사용 강의를 들으면서 계속 제대로 수정되지 않는 부분이 있어서 문의 드립니다.

복제 계수도 수정하고, 기타 다른 부분도 강의 영상대로 다 수정했는데, 하둡 명령어로 파일 상태를 확인하면 앞서 수정했던 것들이 반영되지 않은 것이 보여집니다. (아래 화면 캡춰 한것을 보시면 root도 3개고, 용량도 수정 전의 용량으로 표기됩니다)

수정하는 강의를 다시 시청했더니, 제가 수정하다가 마지막 단계(수정한 것들을 적용하는 단계) 를 거치지 않은 상태에서 파일질라에서 sample.txt를 업로드 했다는 것을 알게 되었습니다. 그래서 서버들을 모두 끄고, 다시 수정하는 단계를 거쳐서 적용하는 단계까지 마치고 putty 를 통해 하둡 명령어를 입력해보았습니다. 하지만 여전히 수정전의 상태로 나타납니다. (해당 캡춰 화면이 수정 후 명령어를 입력해본 화면입니다)

이게 적용이 제대로 안되어서 그런건지 클라우데라 매니저를 켤 때마다 yarn은 항상 빨간불이 켜져서 재가동 하고 있고요.

그리고, hdfs fsck 명령어를 통해 상태를 보면 status는 healthy로 나오지만 replica block이 1개 있는 것으로 나옵니다. 그리고 mising replicas는 2개 있고요. 

이 부분을 수정할 수 있는 방법이 있을까요?

답변 1

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 빅디 입니다.

관련부분에서 많이들 실수들을 하십니다. ^^

복제계수는 자동으로 조절 되지 않습니다. 아래의 명령을 통해 해결 하실 수 있습니다.

* 복제계수 1개로 변경
$ hadoop fs -setrep 1  /tmp/Sample.txt

추가로 하위 경로의 모든 파일의 복제계수를 조절 할때는 -R 옵션을 지정 하시면 됩니다.

- 빅디 올림

조sinai님의 프로필 이미지
조sinai

작성한 질문수

질문하기