inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

선생님 질문이있습니다.

167

celestial_

작성한 질문수 72

0

음 지금 mv명령을 써서 SmartCar 폴더에 있는 SmartCarStatusInfo_20160101.txt를 car-batch-log로 옮기려고 하고 있는데요 이후

SmartCar에 있던 저 해당 파일은 ls-ltr을 통해 이동을 했으니 없어지고

그러면 car-batch-log에 생겨야 하는데 car-batch-log에서 ls-ltr을 해보면

아무것도 없다고 나옵니다ㅜㅜ 이런 경우 어떻게 해야 할까요?

그리고 제가 계속 이 전송 적재 하는 부분에서 계속 막혀서 좀 답답한 나머지 

기존 SmartCar 폴더에 있는 20200901.txt를 대신옮겨서라도 진행을 해볼까..해서 충동적으로 대신 옮겼는데 이거도 지금 유실된 상태입니다. 이 점은 그냥 로그 제네레이터를 새거로 재설치해서 진행을 하는게 좋을까요? 아니면 원래 애초부터 20200901파일은 필요가 없나요?

일단 먼저 적은 질문에 대한 cmd창을 같이 첨부해드리니 확인해주시면 감사하겠습니다..어서 다음 진도로 넘어가고 싶습니다 ㅜㅜ

[root@server02 working]# java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20160101 3 &
[1] 6528
[root@server02 working]# java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20160101 3 &
[2] 6548
[root@server02 working]# cd /home/pilot-pjt/working/SmartCar
[root@server02 SmartCar]# ls -ltr
total 3052
-rw-r--r-- 1 root root 3122956 Apr 27 19:44 SmartCarStatusInfo_20160101.txt
[root@server02 SmartCar]# vi SmartCarStatusInfo_20160101.txt
[root@server02 SmartCar]# cd ..
[root@server02 working]# mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log
[root@server02 working]# cd SmartCar
[root@server02 SmartCar]# ls -ltr
total 0
[root@server02 SmartCar]# cd..
-bash: cd..: command not found
[root@server02 SmartCar]# cd ..
[root@server02 working]# cd car-batch-log
[root@server02 car-batch-log]# ls -ltr
total 0
[root@server02 car-batch-log]#

 

 

bigdata Hadoop ZooKeeper 데이터 엔지니어링 Flume Kafka redis Impala

답변 1

0

Big.D

안녕하세요! 빅디 입니다!

아주 정상적인 상황입니다.ㅎㅎ

무슨 얘기냐면요..

car-batch-log 경로로 이동된 파일은 플럼이 수집해서 정상 처리 하고나면 삭제를 해버립니다. 물론, 큰 파일의 경우엔 플럼이 처리중이기 때문에 좀더 남아 있을 수 있지만 이또한 처리가 완료되연 삭제 됩니다. (옵션으로 삭제 되지 않게 할 수도 있고요)

그리고 로그 제너레이터는 스마트카 데이터를 시뮬레이션 하기 위한 프로그램입니다. 필요할때마다 실행 하셔도 됩니다.  ㅎㅎ

- 빅디 드림

0

celestial_

선생님 안녕하세요,

수집 맨 마지막 해당 강의 14:19초에 보시면

선생님께서 직접 car batch log에서 디렉확인을 하신 대목이 나오는데요, 

그럼 이게 total 0이 나와도 무방하고 정상적이라는 말씀이신거죠?

감사합니다!

0

Big.D

네 맞습니다!

해당시점 제가 실습할땐 플럼이 파일 수집 처리가 안된 상태라 보였던거고요..(이후 플럼을 리스타트해서 수집 처리가 시작됨)

celestial님께서 mv 명령으로 옮기고 조회가 안된건, 실습중 파일 처리가가 된 플럼의 소스가 적용 되어  수집 이벤트가 작동된것으로 보입니다.  - 빅디 올림

주제영역3 데이타 조회 문의

0

30

2

환경 세팅 후 클라우데라매니저 삭제시

0

60

2

수강 기간 연장 부탁드립니다ㅠ

0

55

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

81

2

gcc 설치 에러

0

111

3

클러스터 설정 오류

0

83

2

클라우데라 클러스터 설치로 안넘어가짐

0

115

2

버추어박스 5.0 설치

0

135

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

75

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

144

3

환경세팅 질문있습니다.

0

102

2

버쥬얼박스

0

70

2

호스트 불량 문제에 관하여

0

104

2

하이브쿼리에서 에러가 나요...

0

163

3

하이브쿼리에서 에러

0

114

1

Hbase에 적재된 데이터 확인시 에러

0

145

2

파이썬 설치 시 에러

0

155

2

redis-cli 데이터 적재 확인

0

137

2

카프카 토픽 생성에서 에러

0

134

2

HDFS 명령어를 치는데 오류가 납니다

0

127

2

가상환경 내보내기

0

103

1

SpoolDIR 폴더로 옮기

0

96

2

cpu usage 에러

0

108

2

쿼리 실행시 10000 에러

0

116

2