inflearn logo
강의

Course

Instructor

Data Engineering Course (1): Installing Big Data Hadoop Directly

hadoop 명령 put 실패

874

elvishan2008

1 asked

0

안녕하세요. 

현재 하둡 제너럴[3] : 하둡 파일 시스템 쉘 명령어 (Hadoop File System Shell Commands) 3강 

하둡 명령어 - FS(Files System) Shell : put, copyFromLocal, get, copyToLocal 1분에 하는 하둡 명령 put이 실패하여 남깁니다. 

jps 명령어 시  노드와 resource manager가 활성화 된 것까지는 확인하였습니다. 하둡 명령어도 

폴더 생성과 텍스트 생성은 되나 hadoop fs -put /etc/xml /user/etc 할 시에 

hdfs.DataStreamer: Datastramer Exception

org.apache.hadoop.ipc.RemoteException(java.io.IOException): .. could only be replicated to 0 nodes instead of minReplication (=1).

오류가 발생합니다. 확인해보니 

hdfs dfsadmin -report 를 쳐보니

사용가능한 노드들이 없습니다. 혹시 해결책이 있을까요?

오류 bigdata Hadoop 데이터 엔지니어링

Answer 1

0

Billy Lee

안녕하세요. elvishan2008님

미루어 짐작컨대, HDFS 유틸라이제이션 (HDFS Utilization) 활용을 많이 잡아 먹었던지 혹은 노드 수가 없을 수도 있겠네요.

하둡 홈 폴더로 이동하신 뒤 hdfs dfs -df h 명령어를 던져보세요.

 

 

 

저도 같이 보내주신 명령어를 던지니

위의 그림처럼 자세한 사항이 나오네요..

노드네임 프로세스가 중단되었거나 에러가 있는 듯 하네요.. 

하둡 설치하는 과정 중

모든 데몬을 정지하신 뒤

hadoop namenode -format 을 다시 하시면서 하둡 설치 마지막 단계를 점검하신 뒤

데몬을 시작하여 해보세요...

참고로 데몬이 정지되었는지 확인하시고요.. 
과정을 스넵샷하시면서 안되면 과정을 보여주세요.. 

한국의 하둡 전문가가 되시길 바랍니다.
토론토에서 응원합니다.

0

elvishan2008

답변 감사드립니다. 퇴근 후 진행해보도록 하겠습니다. 만약 안되면 한국시간 저녁에 모든 과정 캡쳐해서 진행해보도록 하겠습니다. 모든 프로세스 stop한 후 hadoop namenode -format 도 진행하였을 때도 진행이 되지 않더라구요. 만약 다시 되지 않는다면 캡쳐해서 질문글을 작성하도록 하겠습니다~ 감사합니다!

start-dfs.sh가 작동하지 않습니다.

0

444

1

우분투 버전 문의

0

351

1

Namenode 폴더 format 도중 발생한 오류입니다.

0

554

1

우분투 설치 도중 오류 문의드립니다.

1

964

1

put, copyFromLocal과 get, copyToLocal

0

395

1

특정 부분에서의 미동작

0

411

3

Ubuntu 환경에서 jdk 압축 해제시 오류 발생 관련하여 질문드립니다!

0

543

2

12강 _- 하둡 분산 파일 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 실전편 ( Build Mappe..) ==> 4분37초 부분

0

241

1

하둡 설치 및 셋팅 중 에러.....

1

251

1

질문이 있습니다!!

0

463

4

안 됩니다

0

495

3

포맷 오류

0

234

1

월별로 뽑고 싶다면?

1

204

1

Rack이 정확히 의미하는 것이 무엇인가요?

1

6107

1

배경음악이 너무 커요

0

298

2

포맷이 안됩니다.

0

228

1

강의에서 사용하신 하둡 설치 wget 주소에서 404 not found가 떠서

0

722

3

선생님 혹시 WSL2로도 학습이 가능할까요?

1

259

1

log4j...에러문제입니다 ! ㅠㅠ

2

280

2

기준설정

0

222

1

이클립스 에러

0

169

1

자바에서 밑부분이 안나와요!

1

237

1

명령어 질문

0

155

1

명령어 질문입니다. hadoop fs -ls vs hadoop fs -ls -R

1

212

1