inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

복제 계수 오류 문의

207

조sinai

작성한 질문수 5

0

안녕하세요, Big.D 님.  

하둡 명령어 사용 강의를 들으면서 계속 제대로 수정되지 않는 부분이 있어서 문의 드립니다.

복제 계수도 수정하고, 기타 다른 부분도 강의 영상대로 다 수정했는데, 하둡 명령어로 파일 상태를 확인하면 앞서 수정했던 것들이 반영되지 않은 것이 보여집니다. (아래 화면 캡춰 한것을 보시면 root도 3개고, 용량도 수정 전의 용량으로 표기됩니다)

수정하는 강의를 다시 시청했더니, 제가 수정하다가 마지막 단계(수정한 것들을 적용하는 단계) 를 거치지 않은 상태에서 파일질라에서 sample.txt를 업로드 했다는 것을 알게 되었습니다. 그래서 서버들을 모두 끄고, 다시 수정하는 단계를 거쳐서 적용하는 단계까지 마치고 putty 를 통해 하둡 명령어를 입력해보았습니다. 하지만 여전히 수정전의 상태로 나타납니다. (해당 캡춰 화면이 수정 후 명령어를 입력해본 화면입니다)

이게 적용이 제대로 안되어서 그런건지 클라우데라 매니저를 켤 때마다 yarn은 항상 빨간불이 켜져서 재가동 하고 있고요.

그리고, hdfs fsck 명령어를 통해 상태를 보면 status는 healthy로 나오지만 replica block이 1개 있는 것으로 나옵니다. 그리고 mising replicas는 2개 있고요. 

이 부분을 수정할 수 있는 방법이 있을까요?

bigdata Hadoop redis ZooKeeper 데이터 엔지니어링 Kafka Flume Impala

답변 1

0

Big.D

안녕하세요! 빅디 입니다.

관련부분에서 많이들 실수들을 하십니다. ^^

복제계수는 자동으로 조절 되지 않습니다. 아래의 명령을 통해 해결 하실 수 있습니다.

* 복제계수 1개로 변경
$ hadoop fs -setrep 1  /tmp/Sample.txt

추가로 하위 경로의 모든 파일의 복제계수를 조절 할때는 -R 옵션을 지정 하시면 됩니다.

- 빅디 올림

주제영역3 데이타 조회 문의

0

54

2

환경 세팅 후 클라우데라매니저 삭제시

0

81

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

99

2

gcc 설치 에러

0

132

3

클러스터 설정 오류

0

106

2

클라우데라 클러스터 설치로 안넘어가짐

0

126

2

버추어박스 5.0 설치

0

154

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

161

3

환경세팅 질문있습니다.

0

113

2

버쥬얼박스

0

83

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

184

3

하이브쿼리에서 에러

0

128

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

170

2

redis-cli 데이터 적재 확인

0

144

2

카프카 토픽 생성에서 에러

0

145

2

HDFS 명령어를 치는데 오류가 납니다

0

138

2

가상환경 내보내기

0

113

1

SpoolDIR 폴더로 옮기

0

112

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

128

2