생성한 데이터 파일을 플럼이 바라보는곳으로 이동시켰지만 파일이 없는 문제
307
작성한 질문수 12
chmod 777 -R working
cd /home/pilot-pjt/working/
java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20160101 3 &
cd SmartCar/
mv SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/
하루짜리 배치파일을 생성하기 위해 로그젠을 실행시키고 만들어진 txt 파일을 플럼이 바라보는 폴더로 이동시키는 과정입니다. 위 명령어 순서대로 실행했습니다. txt 파일이 만들어진 것을 확인했고, mv 명령어 이후 해당 폴더에서 txt 파일이 사라진 것 까지 확인했으나 정작 /home/pilot-pjt/working/car-batch-log/ 경로로 가보면 파일이 옮겨져있지 않습니다. 그래서
hdfs dfs -ls -R /pilot-pjt/collect/car-batch-log
명령어로 하둡에 잘 적재되어있는지 확인이 불가합니다 ㅠ_ㅠ
제가 어떤것을 잘못했을까요?
그리고 위 hdfs 명령어는 어느 폴더에서든지 실행할 수 있나요?
아직 pilot-pjt 폴더 내에 working 디렉토리만 있고 collect 디렉토리는 없습니다. 제가 txt 데이터 파일을 플럼이 바라보는곳에 아직 넣지 못해서 collect 디렉토리가 안만들어진 것일까요?
답변 1
1
안녕하세요! "zpfh1638"님!!!
위 과정중 특별한 에러가 발생 하지 않았다면..
플럼이 정상 작동 하고 있는지를 확인해 봐야 합니다.
CM > Home > Flume이 정상 기동 상태인지 확인해 주시고요~
그리고 플럼이 정상 작동 중이었다면, 100MB 로그파일을 플럼이 읽어서 HDFS로 적재 하는데 2~3분 정도의 시간이 소요 됩니다. 이것도 감안해서 테스트해봐 주세요~
-빅디 드림
zpfh1638
주제영역3 데이타 조회 문의
0
58
2
환경 세팅 후 클라우데라매니저 삭제시
0
83
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
102
2
gcc 설치 에러
0
139
3
클러스터 설정 오류
0
110
2
클라우데라 클러스터 설치로 안넘어가짐
0
127
2
버추어박스 5.0 설치
0
157
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
85
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
186
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
173
2
redis-cli 데이터 적재 확인
0
146
2
카프카 토픽 생성에서 에러
0
150
2
HDFS 명령어를 치는데 오류가 납니다
0
141
2
가상환경 내보내기
0
115
1
SpoolDIR 폴더로 옮기
0
115
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
131
2