inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

hbase 적재 안됨

316

조필승

작성한 질문수 1

0

count 'SmartCarInfo' 해보니 count 0 으로 나옵니다. (고사양 기준으로 hbase는 server01에 설치)

다른 수강생의 질문을 검색해보고 답변해주신 내용대로 실행해보니 storm-kafka 연동 부분에서 문제가 있는 것 같습니다.

---

0. 먼저 스마트카 실시간 로그시뮬레이터를 실행 

1. 아래 명령으로 시뮬레이터가 실시간 데이터를 생성중인지 확인

   $ tail -f  /home/pilot-pjt/working/driver-realtime-log/SmartCarDriverInfo.log  

----> 정상 수행 

2. 아래 명령으로 Kafka로 데이터가 잘 들어 오는지 확인

   $ kafka-console-consumer --bootstrap-server server02.hadoop.com:9092 --topic SmartCar-Topic --partition 0 

----> 정상 수행

3. Storm UI에 접속해 Topology Stats 의 Emitted/Transferred/Ack 카운트가 증가 하는지 확인

    Storm-UI : http://server02.hadoop.com:8088

-----> 카운드 증가 안됨 , 또한 다음과 같은 Topology spouts lag error이 확인됨

--> topology 는 정상적으로 등록됨 

--> zookeeper 에서 kafka 토픽 등록 여부 확인

다음 에러에서는 어떤 작업을 해야하나요? 

확인 부탁드립니다.

Hadoop bigdata 데이터 엔지니어링 redis Kafka ZooKeeper Flume Impala

답변 2

0

조필승

감사합니다. 알려주신대로 해보니 드디어 정상적으로 나오네요ㅠㅠ

0

Big.D

안녕하세요! 조승필님!

발생한 문제는 빡빡한 파일럿 환경에서 자주 발생 하는 문제 인데요.. ^^;

주키퍼에서 토픽 등록 환인후 아래 절차를 진행 보셨는지요?!!

 

1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo

2. CM에서 카프카 중지

3. Service 명령으로 Storm 중지

4. CM에서 주키퍼 중지

5. CM에서 주키퍼 시작

6. Service 명령으로 Storm 시작

7. CM에서 카프카 시작

8. 스톰 토폴로지 배포

9. 실시간 테스트

- 빅디 드림

주제영역3 데이타 조회 문의

0

40

2

환경 세팅 후 클라우데라매니저 삭제시

0

65

2

수강 기간 연장 부탁드립니다ㅠ

0

60

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

89

2

gcc 설치 에러

0

117

3

클러스터 설정 오류

0

91

2

클라우데라 클러스터 설치로 안넘어가짐

0

120

2

버추어박스 5.0 설치

0

141

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

79

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

151

3

환경세팅 질문있습니다.

0

107

2

버쥬얼박스

0

76

2

호스트 불량 문제에 관하여

0

110

2

하이브쿼리에서 에러가 나요...

0

169

3

하이브쿼리에서 에러

0

120

1

Hbase에 적재된 데이터 확인시 에러

0

147

2

파이썬 설치 시 에러

0

159

2

redis-cli 데이터 적재 확인

0

143

2

카프카 토픽 생성에서 에러

0

139

2

HDFS 명령어를 치는데 오류가 납니다

0

135

2

가상환경 내보내기

0

109

1

SpoolDIR 폴더로 옮기

0

104

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

122

2