inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

6.적재 파일럿 실행 4단계 - 적재 기능 테스트

hdfs dfs-ls -R /pilot-pjt/collect/car-batch-log에 디렉토리가 없다는데...이건 어떻게 해결할까요 ㅠㅠ

251

흰색남자

작성한 질문수 38

1

Hadoop bigdata Kafka Impala 데이터 엔지니어링 ZooKeeper Flume redis

답변 1

1

Big.D

안녕하세요! '흰색남자'님!

해당 명령은 하둡의 /pilot-pjt/collect/car-batch-log 경로에 '파일리스트'를 보는 명령어 입니다.

이경로와 파일은 앞단계의 플럼에서 생성 및 전송 하게 됩니다.

즉 플럼이 작동 하지 않았거나 오류가 있었다는 얘기 입니다.

시뮬레이터 작동 > 파일 생성 확인/이동 > 플럼이 수집 > 플럼이 하둡적재 > 명령어로 적재된 파일 확인

비전공자...전공자를 떠나서, 빅데이터 + AI 기술기반 프로젝트는 어려운 분야 입니다. ^^;;

대신 파일럿 프로젝트를 완료 했을때..어려운 만큼 많은 것을 얻을 수 있을거라 생각합니다. 

포기하지 마시고요...많은 고민과 연구를 하면서.. 끝까지 플젝 완료해 보세요!! 

파이팅 입니다.  -빅디 올림

0

흰색남자

감사합니다 ㅠㅜㅠㅠㅠ

0

흰색남자

대학생 3학년 여름방학을 알차게 보내고 싶네요 ㅠㅠ.

주제영역3 데이타 조회 문의

0

58

2

환경 세팅 후 클라우데라매니저 삭제시

0

81

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

101

2

gcc 설치 에러

0

138

3

클러스터 설정 오류

0

107

2

클라우데라 클러스터 설치로 안넘어가짐

0

126

2

버추어박스 5.0 설치

0

155

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

162

3

환경세팅 질문있습니다.

0

114

2

버쥬얼박스

0

84

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

185

3

하이브쿼리에서 에러

0

129

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

170

2

redis-cli 데이터 적재 확인

0

145

2

카프카 토픽 생성에서 에러

0

146

2

HDFS 명령어를 치는데 오류가 납니다

0

140

2

가상환경 내보내기

0

114

1

SpoolDIR 폴더로 옮기

0

113

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

129

2