• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

생성한 데이터 파일을 플럼이 바라보는곳으로 이동시켰지만 파일이 없는 문제

22.09.28 14:33 작성 조회수 193

2

chmod 777 -R working

cd /home/pilot-pjt/working/

java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20160101 3 &

cd SmartCar/

mv SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/

하루짜리 배치파일을 생성하기 위해 로그젠을 실행시키고 만들어진 txt 파일을 플럼이 바라보는 폴더로 이동시키는 과정입니다. 위 명령어 순서대로 실행했습니다. txt 파일이 만들어진 것을 확인했고, mv 명령어 이후 해당 폴더에서 txt 파일이 사라진 것 까지 확인했으나 정작 /home/pilot-pjt/working/car-batch-log/ 경로로 가보면 파일이 옮겨져있지 않습니다. 그래서

hdfs dfs -ls -R /pilot-pjt/collect/car-batch-log

명령어로 하둡에 잘 적재되어있는지 확인이 불가합니다 ㅠ_ㅠ

  1. 제가 어떤것을 잘못했을까요?

  2. 그리고 위 hdfs 명령어는 어느 폴더에서든지 실행할 수 있나요?

  3. 아직 pilot-pjt 폴더 내에 working 디렉토리만 있고 collect 디렉토리는 없습니다. 제가 txt 데이터 파일을 플럼이 바라보는곳에 아직 넣지 못해서 collect 디렉토리가 안만들어진 것일까요?

답변 1

답변을 작성해보세요.

1

안녕하세요! "zpfh1638"님!!!

위 과정중 특별한 에러가 발생 하지 않았다면..

플럼이 정상 작동 하고 있는지를 확인해 봐야 합니다.

CM > Home > Flume이 정상 기동 상태인지 확인해 주시고요~

그리고 플럼이 정상 작동 중이었다면, 100MB 로그파일을 플럼이 읽어서 HDFS로 적재 하는데 2~3분 정도의 시간이 소요 됩니다. 이것도 감안해서 테스트해봐 주세요~

-빅디 드림

 

 

zpfh1638