inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

6.적재 파일럿 실행 4단계 - 적재 기능 테스트

tail -f flume~ 오류

509

코드몽키

작성한 질문수 25

0

 

 

 

재시작 했는데도 안되네요 ㅠㅠ 

문제점이 무엇일까요?

Hadoop bigdata ZooKeeper Impala Kafka Flume redis 데이터 엔지니어링

답변 2

1

Big.D

안녕하세요! 코드몽키님!

올려주신 Flume의 로그 내용이나, Cloudera Manager의 상태 정보로만 봤을땐 특이 사항이 없어 보입니다.

문제의 상황과 오류 메세지를 좀더 상세하게 올려 주시고요..

무엇인 안되는지를 좀더 구체적으로 설명해 주세요~

- 빅디 드림

 

0

코드몽키

11:30 쯤 영상에서 위와 같이 tail -f flume-cmf-flume~~~ 치면 flume.sink.hdfs.BucketWriter: Creating ~~ 설명하시는데, 저한테는 저부분이 뜨질 안항서 질문드렸습니다     .tmp 파일도 안만들어져서요

1

Big.D

아~ 네!!  상황파악 됐습니다. ㅎㅎ

음...보여주신 로그상에서 특별히 에러가 없는 것으로 봤을땐..

플럼의 파일 수집 이벤트(SpoolDir)가 작동하지 않은것 같습니다.

우선 스마트카 시뮬레이터가 파일을 생성 하는 위치와, 플럼이 이 파일을 읽어 들이는 위치가 달라서 다소 헷갈릴 수 있는데요. 아래와 같습니다.

1. 로그시뮬레이터가 스마트카 상태파일을 생성하는 위치: /home/pilot-pjt/working/SmartCar/

2. 플럼이 스마트카 상태파일을 읽어 들이는 위치 : /home/pilot-pjt/working/car-batch-log/

이때 1번에 생성된 파일을 2번으로 이동 시켜줘야,  플럼의 파일 이벤트가 작동해서 해당 파일을 읽어 들이는데요..이를위해 아래 명령으로 1번에 생긴 파일을 2번으로 이동 시키는 명령이 잘 실행 됐었는지도 확인해 봐야 합니다.

$ mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/

해당 강의 내용중 "SmartCar 로그시뮬레이터 작동" 과 "플럼 이벤트 작동" 부분을 한번더 꼼꼼히 보시면서 실습해 보시기 바랍니다.

추가로 플럼의 Conf 파일 수정 사항이 미적용 되어서, 파일 수집 이벤트가 발생하지 않았을 수도 있습니다.  "CM Home > Flume > 재시작"도 꼭 해보시기 바랍니다.

- 빅디 드림

주제영역3 데이타 조회 문의

0

36

2

환경 세팅 후 클라우데라매니저 삭제시

0

62

2

수강 기간 연장 부탁드립니다ㅠ

0

57

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

84

2

gcc 설치 에러

0

115

3

클러스터 설정 오류

0

84

2

클라우데라 클러스터 설치로 안넘어가짐

0

116

2

버추어박스 5.0 설치

0

139

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

77

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

146

3

환경세팅 질문있습니다.

0

103

2

버쥬얼박스

0

72

2

호스트 불량 문제에 관하여

0

106

2

하이브쿼리에서 에러가 나요...

0

166

3

하이브쿼리에서 에러

0

118

1

Hbase에 적재된 데이터 확인시 에러

0

145

2

파이썬 설치 시 에러

0

157

2

redis-cli 데이터 적재 확인

0

140

2

카프카 토픽 생성에서 에러

0

137

2

HDFS 명령어를 치는데 오류가 납니다

0

132

2

가상환경 내보내기

0

107

1

SpoolDIR 폴더로 옮기

0

100

2

cpu usage 에러

0

112

2

쿼리 실행시 10000 에러

0

121

2