HDFS Under-Replicated Blocks 문제...
547
작성한 질문수 23
답변 1
0
안녕하세요! 빅디 입니다.
복제계수 미달은, 불안정한 파일럿 환경에서 자주 발생합니다. TT
참고로 데이터 노드가 수대 이상인 경우엔 복제 미달이 발생해도, HDFS가 자동으로 복제계수를 맞춰 줍니다.
하지만 파일럿 환경에선 데이터 노드가 1대~ 3대 여서, 강의중 HDFS 설치/구성에서 복제계수는 1개 또는 2개로 재설정 하게 됩니다. (5.빅데이터 클러스터 구성 3 - DataNode 추가 및 환경설정)
- 저사양 : 복제계수 1
- 고사양 : 복제계수 2
참고로 디폴트는 3 입니다.
만약 김형욱님의 HDFS가 고사양 이었고, 복제 계수를 2로 설정 하셨다면 아래 명령으로 조치가 가능 합니다.
$ hadoop fs -setrep 2 /
ps. 중요한건 하둡이 왜? 파일을 복제 하는지가 더 중요합니다. 관련해 "하둡 replication"로 구글링등을 통해 찾아 보시면 좋습니다.
- 빅디 드림
0
항상 친절하신 답변 감사드립니다 ㅜㅜ
말씀해주신대로 명령어를 입력하니 문제가 해결되었네요!
추가적으로 하둡 복제의 필요성에 대해서도 구글링을 통해 다시 한번 되짚어 보았습니다! ^^
주제영역3 데이타 조회 문의
0
59
2
환경 세팅 후 클라우데라매니저 삭제시
0
84
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
102
2
gcc 설치 에러
0
139
3
클러스터 설정 오류
0
110
2
클라우데라 클러스터 설치로 안넘어가짐
0
127
2
버추어박스 5.0 설치
0
158
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
85
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
187
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
174
2
redis-cli 데이터 적재 확인
0
146
2
카프카 토픽 생성에서 에러
0
150
2
HDFS 명령어를 치는데 오류가 납니다
0
142
2
가상환경 내보내기
0
116
1
SpoolDIR 폴더로 옮기
0
115
2
cpu usage 에러
0
115
2
쿼리 실행시 10000 에러
0
131
2