-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
hadoop 명령 put 실패
22.03.06 21:13 작성 조회수 605
0
안녕하세요.
현재 하둡 제너럴[3] : 하둡 파일 시스템 쉘 명령어 (Hadoop File System Shell Commands) 3강
하둡 명령어 - FS(Files System) Shell : put, copyFromLocal, get, copyToLocal 1분에 하는 하둡 명령 put이 실패하여 남깁니다.
jps 명령어 시 노드와 resource manager가 활성화 된 것까지는 확인하였습니다. 하둡 명령어도
폴더 생성과 텍스트 생성은 되나 hadoop fs -put /etc/xml /user/etc 할 시에
hdfs.DataStreamer: Datastramer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): .. could only be replicated to 0 nodes instead of minReplication (=1).]
오류가 발생합니다. 확인해보니
hdfs dfsadmin -report 를 쳐보니 
사용가능한 노드들이 없습니다. 혹시 해결책이 있을까요?
답변을 작성해보세요.
0
Billy Lee
지식공유자2022.03.08
안녕하세요. elvishan2008님
미루어 짐작컨대, HDFS 유틸라이제이션 (HDFS Utilization) 활용을 많이 잡아 먹었던지 혹은 노드 수가 없을 수도 있겠네요.
하둡 홈 폴더로 이동하신 뒤 hdfs dfs -df h 명령어를 던져보세요.
저도 같이 보내주신 명령어를 던지니
위의 그림처럼 자세한 사항이 나오네요..
노드네임 프로세스가 중단되었거나 에러가 있는 듯 하네요..
하둡 설치하는 과정 중
모든 데몬을 정지하신 뒤
hadoop namenode -format 을 다시 하시면서 하둡 설치 마지막 단계를 점검하신 뒤
데몬을 시작하여 해보세요...
참고로 데몬이 정지되었는지 확인하시고요..
과정을 스넵샷하시면서 안되면 과정을 보여주세요..
한국의 하둡 전문가가 되시길 바랍니다.
토론토에서 응원합니다.
elvishan2008
질문자2022.03.08
답변 감사드립니다. 퇴근 후 진행해보도록 하겠습니다. 만약 안되면 한국시간 저녁에 모든 과정 캡쳐해서 진행해보도록 하겠습니다. 모든 프로세스 stop한 후 hadoop namenode -format 도 진행하였을 때도 진행이 되지 않더라구요. 만약 다시 되지 않는다면 캡쳐해서 질문글을 작성하도록 하겠습니다~ 감사합니다!
답변 1