inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

5.탐색 파일럿 실행 3단계 - 데이터 탐색&처리 2

서버2 홈에 pilot-pjt가 없어요!

209

zpfh1638

작성한 질문수 12

0

휴를 이용해 홈에서 pilot-pjt 폴더로 이동하셨는데 저는 아래 사진과 같이 해당 폴더가 없어요 ㅠ_ㅠ

위 사진은 데이터를 플럼이 바라보는 곳에 넣는 장면입니다, 하둡에 잘 적재되었는지 확인해보고 싶어서 충분히 시간을 두고 명령을 실행했는데 no such file or directory만 뜨더니 폴더에 있던 데이터 파일이 사라졌어요..! (플럼, HDFS 둘 다 정상 작동중)

휴에서 서버2 홈에서 pilot-pjt/collect 폴더가 없는것과 연관이 있을까 하여 올려드립니다

Hadoop bigdata Flume redis Impala 데이터 엔지니어링 ZooKeeper Kafka

답변 1

0

Big.D

안녕하세요! 빅디 입니다.

Hue의 파일 브라우져에서 보고자 하는 경로는 플럼이 하둡에 정상 적재 했을때 생성 되어야 하는 경로 입니다.

관련해 두번째 스크린샷에선요..

플럼이 /home/pilot-pjt/working/car-batch-log 경로의 SmartCarStatusInfo_20220929.txt 파일을 처리하기 시작하고(약 2~3분 소요), 하둡에 적재가 완료 되면 SmartCarStatusInfo_20220929.txt 파일을 삭제 하게 됩니다.

대용량 파일 적재 테스트를 정상 완료 했다면 /home/pilot-pjt/working/car-batch-log 경로에 파일이 없어야 합니다. ^^;;;

음...아무래도 다시 SmartCarStatusInfo 를 적재하는 단계로 돌아가셔서, 적재중 문제를 파악해 봐야 할 것 같습니다.

-빅디 드림

주제영역3 데이타 조회 문의

0

58

2

환경 세팅 후 클라우데라매니저 삭제시

0

83

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

102

2

gcc 설치 에러

0

139

3

클러스터 설정 오류

0

110

2

클라우데라 클러스터 설치로 안넘어가짐

0

127

2

버추어박스 5.0 설치

0

157

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

162

3

환경세팅 질문있습니다.

0

114

2

버쥬얼박스

0

85

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

186

3

하이브쿼리에서 에러

0

129

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

173

2

redis-cli 데이터 적재 확인

0

146

2

카프카 토픽 생성에서 에러

0

150

2

HDFS 명령어를 치는데 오류가 납니다

0

141

2

가상환경 내보내기

0

115

1

SpoolDIR 폴더로 옮기

0

115

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

131

2