Inflearn Community Q&A
asked
hadoop fs -setrep 명령어 관련 문의
Written on
·
353
0
안녕하세요, Big.D님. 자꾸 문의 드리게 되네요 ㅠㅜ
며칠전에 복제 계수 수정 관련하여 문의 드렸고, 입력해야 할 명령어를 알려주셨습니다. 그런데 입력하면 아래와 같은 문제점이 발생해서 다시 문의 드립니다.
[root@server02 bigdata] 에서 앞서 알려주신 'hadoop fs -setrep 1 /tmp/Sample.txt' 명령어를 입력하면 2개를 입력해야 하는데 1개만 입력했다는 안내와 명령어 종류들이 출력됩니다.
어떻게 입력하는 것이 올바른 명령어인지 조언 부탁드립니다. (비전공자는 오늘도 웁니다 ㅠㅜ)
Answer 1
1
안녕하세요! 빅디 입니다.
아~주 조그만 실수가 있어 보이는데요..ㅎㅎ
위 첫번째 이미지에서 복제 명령중 띄어쓰기가 문제인것 같습니다.
hadoop fs -setrep 1/tmp/Sample.txt
'1'과 '/' 사이에 공백을 한칸 주시면 됩니다.
저도 이런 오타들로 몇일밤을 세운적이 있습니다. 실제 프로젝트를 하면서도 비일비재 하고요..^^;
- 빅디 올림
어쨌든...문제를 스스로 좁힌듯 해서 다행 입니다. ㅎㅎ
아마도 파일을 찾을 수 없다는건 /tmp 디렉토리 하위에 Sample.txt 파일이 없어서 일겁니다.
확인을 위해 하둡의 /tmp 경로 하위에 어떤 파일들이 있는지 아래 명령어로 확인해 보시고요,
$ hdfs dfs -ls /tmp
만약 Sample.txt 파일이 하둡의 /tmp 경로에서 조회가 안되면, 다시 아래 명령어로 파일을 하둡의 /tmp 경로에 Put 하고요,
$ hdfs dfs -put /home/bigdata/Sample.txt /tmp
아래 명령어로 복제 명령어를 다시 실행하면 될겁니다.
$ hadoop fs -setrep 1 /tmp/Sample.txt
추가로 이렇게도 엉뚱한 테스트를 해보세요..겪었던 문제의 메세지들이 나타날 겁니다.
$ hadoop fs -setrep 1 /tmp_test
$ hadoop fs -setrep 100 /tmp/aaaa.txt
보통 이와 같은 실수는 앞에서 있던 작은 실수가 꼬리에 꼬리를 물면서 혼란 스러워 지고, 쉽게 해결 할 수 있는 문제를 어렵게 만드는 경우입니다.
- 빅디 드림
big.D님! 말씀하신대로 해도 계속 파일을 찾을 수 없다는 메세지가 나와서 헤매이다가
조금전에 명령어를 바꿨는데 수정이 되었습니다.
hadoop fs -setrep 1 /tmp/
까지만 쳤습니다. 아래 파일이름은 안쳤어요. 그랬더니, 복제계수 및 용량도 수정이 다 되었습니다!
다만, -put 으로 올려둔 기록은 깡그리 삭제되어서 -put 명령어로 다시 업로드 했습니다.
파일질라에서 로컬로 올려둔 기록은 여전히 남아 있었고요.
명령어가 달라졌는데 해결되니 이른바 ' 왜 이게 되지??' 라는 의문이 들었습니다. ^^;
혹, 부가 설명 가능하시다면 부탁 드리겠습니다!