hadoop fs -setrep 명령어 관련 문의
361
작성한 질문수 5
안녕하세요, Big.D님. 자꾸 문의 드리게 되네요 ㅠㅜ
며칠전에 복제 계수 수정 관련하여 문의 드렸고, 입력해야 할 명령어를 알려주셨습니다. 그런데 입력하면 아래와 같은 문제점이 발생해서 다시 문의 드립니다.
[root@server02 bigdata] 에서 앞서 알려주신 'hadoop fs -setrep 1 /tmp/Sample.txt' 명령어를 입력하면 2개를 입력해야 하는데 1개만 입력했다는 안내와 명령어 종류들이 출력됩니다.
어떻게 입력하는 것이 올바른 명령어인지 조언 부탁드립니다. (비전공자는 오늘도 웁니다 ㅠㅜ)
답변 1
1
안녕하세요! 빅디 입니다.
아~주 조그만 실수가 있어 보이는데요..ㅎㅎ
위 첫번째 이미지에서 복제 명령중 띄어쓰기가 문제인것 같습니다.
hadoop fs -setrep 1/tmp/Sample.txt
'1'과 '/' 사이에 공백을 한칸 주시면 됩니다.
저도 이런 오타들로 몇일밤을 세운적이 있습니다. 실제 프로젝트를 하면서도 비일비재 하고요..^^;
- 빅디 올림
0
big.D님! 말씀하신대로 해도 계속 파일을 찾을 수 없다는 메세지가 나와서 헤매이다가
조금전에 명령어를 바꿨는데 수정이 되었습니다.
hadoop fs -setrep 1 /tmp/
까지만 쳤습니다. 아래 파일이름은 안쳤어요. 그랬더니, 복제계수 및 용량도 수정이 다 되었습니다!
다만, -put 으로 올려둔 기록은 깡그리 삭제되어서 -put 명령어로 다시 업로드 했습니다.
파일질라에서 로컬로 올려둔 기록은 여전히 남아 있었고요.
명령어가 달라졌는데 해결되니 이른바 ' 왜 이게 되지??' 라는 의문이 들었습니다. ^^;
혹, 부가 설명 가능하시다면 부탁 드리겠습니다!
0
어쨌든...문제를 스스로 좁힌듯 해서 다행 입니다. ㅎㅎ
아마도 파일을 찾을 수 없다는건 /tmp 디렉토리 하위에 Sample.txt 파일이 없어서 일겁니다.
확인을 위해 하둡의 /tmp 경로 하위에 어떤 파일들이 있는지 아래 명령어로 확인해 보시고요,
$ hdfs dfs -ls /tmp
만약 Sample.txt 파일이 하둡의 /tmp 경로에서 조회가 안되면, 다시 아래 명령어로 파일을 하둡의 /tmp 경로에 Put 하고요,
$ hdfs dfs -put /home/bigdata/Sample.txt /tmp
아래 명령어로 복제 명령어를 다시 실행하면 될겁니다.
$ hadoop fs -setrep 1 /tmp/Sample.txt
추가로 이렇게도 엉뚱한 테스트를 해보세요..겪었던 문제의 메세지들이 나타날 겁니다.
$ hadoop fs -setrep 1 /tmp_test
$ hadoop fs -setrep 100 /tmp/aaaa.txt
보통 이와 같은 실수는 앞에서 있던 작은 실수가 꼬리에 꼬리를 물면서 혼란 스러워 지고, 쉽게 해결 할 수 있는 문제를 어렵게 만드는 경우입니다.
- 빅디 드림
주제영역3 데이타 조회 문의
0
54
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
132
3
클러스터 설정 오류
0
106
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
154
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
161
3
환경세팅 질문있습니다.
0
113
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
128
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
145
2
HDFS 명령어를 치는데 오류가 납니다
0
138
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
112
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
128
2