hbase 적재 안됨
316
작성한 질문수 1
count 'SmartCarInfo' 해보니 count 0 으로 나옵니다. (고사양 기준으로 hbase는 server01에 설치)
다른 수강생의 질문을 검색해보고 답변해주신 내용대로 실행해보니 storm-kafka 연동 부분에서 문제가 있는 것 같습니다.
---
0. 먼저 스마트카 실시간 로그시뮬레이터를 실행
1. 아래 명령으로 시뮬레이터가 실시간 데이터를 생성중인지 확인
$ tail -f /home/pilot-pjt/working/driver-realtime-log/SmartCarDriverInfo.log
----> 정상 수행
2. 아래 명령으로 Kafka로 데이터가 잘 들어 오는지 확인
$ kafka-console-consumer --bootstrap-server server02.hadoop.com:9092 --topic SmartCar-Topic --partition 0
----> 정상 수행
3. Storm UI에 접속해 Topology Stats 의 Emitted/Transferred/Ack 카운트가 증가 하는지 확인
Storm-UI : http://server02.hadoop.com:8088
-----> 카운드 증가 안됨 , 또한 다음과 같은 Topology spouts lag error이 확인됨
--> topology 는 정상적으로 등록됨
--> zookeeper 에서 kafka 토픽 등록 여부 확인
다음 에러에서는 어떤 작업을 해야하나요?
확인 부탁드립니다.
답변 2
0
안녕하세요! 조승필님!
발생한 문제는 빡빡한 파일럿 환경에서 자주 발생 하는 문제 인데요.. ^^;
주키퍼에서 토픽 등록 환인후 아래 절차를 진행 보셨는지요?!!
1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo
2. CM에서 카프카 중지
3. Service 명령으로 Storm 중지
4. CM에서 주키퍼 중지
5. CM에서 주키퍼 시작
6. Service 명령으로 Storm 시작
7. CM에서 카프카 시작
8. 스톰 토폴로지 배포
9. 실시간 테스트
- 빅디 드림
주제영역3 데이타 조회 문의
0
40
2
환경 세팅 후 클라우데라매니저 삭제시
0
65
2
수강 기간 연장 부탁드립니다ㅠ
0
60
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
89
2
gcc 설치 에러
0
117
3
클러스터 설정 오류
0
91
2
클라우데라 클러스터 설치로 안넘어가짐
0
120
2
버추어박스 5.0 설치
0
141
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
79
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
151
3
환경세팅 질문있습니다.
0
107
2
버쥬얼박스
0
76
2
호스트 불량 문제에 관하여
0
110
2
하이브쿼리에서 에러가 나요...
0
169
3
하이브쿼리에서 에러
0
120
1
Hbase에 적재된 데이터 확인시 에러
0
147
2
파이썬 설치 시 에러
0
159
2
redis-cli 데이터 적재 확인
0
143
2
카프카 토픽 생성에서 에러
0
139
2
HDFS 명령어를 치는데 오류가 납니다
0
135
2
가상환경 내보내기
0
109
1
SpoolDIR 폴더로 옮기
0
104
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
122
2





