-
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
생성한 데이터 파일을 플럼이 바라보는곳으로 이동시켰지만 파일이 없는 문제
22.09.28 14:33 작성 조회수 193
2
chmod 777 -R working
cd /home/pilot-pjt/working/
java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20160101 3 &
cd SmartCar/
mv SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/
하루짜리 배치파일을 생성하기 위해 로그젠을 실행시키고 만들어진 txt 파일을 플럼이 바라보는 폴더로 이동시키는 과정입니다. 위 명령어 순서대로 실행했습니다. txt 파일이 만들어진 것을 확인했고, mv 명령어 이후 해당 폴더에서 txt 파일이 사라진 것 까지 확인했으나 정작 /home/pilot-pjt/working/car-batch-log/ 경로로 가보면 파일이 옮겨져있지 않습니다. 그래서
hdfs dfs -ls -R /pilot-pjt/collect/car-batch-log
명령어로 하둡에 잘 적재되어있는지 확인이 불가합니다 ㅠ_ㅠ
제가 어떤것을 잘못했을까요?
그리고 위 hdfs 명령어는 어느 폴더에서든지 실행할 수 있나요?
아직 pilot-pjt 폴더 내에 working 디렉토리만 있고 collect 디렉토리는 없습니다. 제가 txt 데이터 파일을 플럼이 바라보는곳에 아직 넣지 못해서 collect 디렉토리가 안만들어진 것일까요?
답변을 작성해보세요.
1
Big.D
지식공유자2022.09.28
안녕하세요! "zpfh1638"님!!!
위 과정중 특별한 에러가 발생 하지 않았다면..
플럼이 정상 작동 하고 있는지를 확인해 봐야 합니다.
CM > Home > Flume이 정상 기동 상태인지 확인해 주시고요~
그리고 플럼이 정상 작동 중이었다면, 100MB 로그파일을 플럼이 읽어서 HDFS로 적재 하는데 2~3분 정도의 시간이 소요 됩니다. 이것도 감안해서 테스트해봐 주세요~
-빅디 드림
zpfh1638
답변 1