storm nimbus, supervisor, ui start가 잘 안되네요

2021-05-13T15:38:20.463Z

0

감사합니다. 덕분에 쉽게 해결했습니다.

0

몇번이고 다시 해봤는데 바로 not running뜨네요.. http://server02.hadoop.com:8088/창은 열리는데 Summary에 아무것도 없이 빈창이네요... 이유를 알수있을까요? 

로그시뮬레이터 작동에서 로그는 나오는데 hbase shell 에서 hbase(main):009:0> count 'DriverCarInfo'

0 row(s)

Took 0.0099 seconds

=> 0

이렇게 나오면 스톰에서 문제가 생긴건가요?

0

안녕하세요! 빅디 입니다.

이런 문제를 해결할땐, 데이터의 파이프라인(흐름)을 파악하고 어디에서 문제가 발생 했는지 의심스러운 부분을 좁혀가야 합니다.

지금 테스트중인 파이프라인은 아래와 같은데요..

-------------------Zookeeper--------------------
Flume > Kafka > Storm > HBase | Redis 
----------------------HDFS-----------------------

현재 HBase에 데이터가 들어오지 않는건 Storm의 문제로도 볼수 있지만 Kafka 와 Zookeeper의 문제 일수도 있습니다. 물론 Flume의 문제도 의심해 봐야합니다.

각 단계 서버별 로그에서 Error가 있었는지, 그리고 그원인은 무었인지 파악해 보시고요..

Kafka 컨슈머를 작동시켜서 Kafka까지는 데이터가 잘 들어 오는지 확인이 되다면, Storm/Zookeeper/HBase의 문제로 좁혀 놓는 방법도 있습니다.

모두 점검해도 이상이 없을땐, 파일럿 환경의 반복적인 테스트와 비정상 종료등으로 주키퍼에서 관리되고 있는 각 서버들의 메타정보들이 꼬였을 확율이 높습니다.

그럼 아래의 절차대로 진행 하고, 재테스트 해보시기 바랍니다.

1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo

2. Service 명령으로 Storm 중지

3. CM에서 카프카 중지

4. CM에서 주키퍼 중지

5. CM에서 주키퍼 시작

6. CM에서 카프카 시작

7. Service 명령으로 Storm 시작

8. 스톰 토폴로지 배포

9. 실시간 로그시뮬레이터 작동

10. 테스트 결과 확인

- 빅디 드림

0

Flume에서 문제가 발생하여 전부 꼬였던거 같습니다. 다시 해보니깐 실행 되네요 감사합니다 !