• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

hbase 적재 안됨

22.05.19 22:33 작성 조회수 198

0

count 'SmartCarInfo' 해보니 count 0 으로 나옵니다. (고사양 기준으로 hbase는 server01에 설치)

다른 수강생의 질문을 검색해보고 답변해주신 내용대로 실행해보니 storm-kafka 연동 부분에서 문제가 있는 것 같습니다.

---

0. 먼저 스마트카 실시간 로그시뮬레이터를 실행 

1. 아래 명령으로 시뮬레이터가 실시간 데이터를 생성중인지 확인

   $ tail -f  /home/pilot-pjt/working/driver-realtime-log/SmartCarDriverInfo.log  

----> 정상 수행 

2. 아래 명령으로 Kafka로 데이터가 잘 들어 오는지 확인

   $ kafka-console-consumer --bootstrap-server server02.hadoop.com:9092 --topic SmartCar-Topic --partition 0 

----> 정상 수행

3. Storm UI에 접속해 Topology Stats 의 Emitted/Transferred/Ack 카운트가 증가 하는지 확인

    Storm-UI : http://server02.hadoop.com:8088

-----> 카운드 증가 안됨 , 또한 다음과 같은 Topology spouts lag error이 확인됨

--> topology 는 정상적으로 등록됨 

--> zookeeper 에서 kafka 토픽 등록 여부 확인

다음 에러에서는 어떤 작업을 해야하나요? 

확인 부탁드립니다.

답변 2

·

답변을 작성해보세요.

0

조필승님의 프로필

조필승

질문자

2022.05.20

감사합니다. 알려주신대로 해보니 드디어 정상적으로 나오네요ㅠㅠ

0

안녕하세요! 조승필님!

발생한 문제는 빡빡한 파일럿 환경에서 자주 발생 하는 문제 인데요.. ^^;

주키퍼에서 토픽 등록 환인후 아래 절차를 진행 보셨는지요?!!

 

1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo

2. CM에서 카프카 중지

3. Service 명령으로 Storm 중지

4. CM에서 주키퍼 중지

5. CM에서 주키퍼 시작

6. Service 명령으로 Storm 시작

7. CM에서 카프카 시작

8. 스톰 토폴로지 배포

9. 실시간 테스트

- 빅디 드림