Inflearn Community Q&A
asked
storm nimbus, supervisor, ui start가 잘 안되네요
Written on
·
378
0
안녕하세요 ! 강의를 들으면서 실습하다 잘 안되는게 있어서 질문드립니다.
service storm-nimbus start
service storm-supervisor start
service storm-ui start
로 실행을 했는데 running이 잠깐 뜨다가 다시 NOT running으로 되네요 ㅜㅜㅜ
이유를 알수있을까요 ??
답변부탁드리겠습니다. 감사합니다.
Answer 1
1
안녕하세요! 빅디 입니다.
관련문제는 스톰 설치/환경구성중 설정파일에서 문제일 가능성이 높습니다.
우선 /home/pilot-pjt/storm/logs/ 경로의 로그상에서 에러가 있었는지 확인해 보시고요..
"4. 실시간 적재 파일럿 실행 2단계 04 - Storm 설치" 강의 내용의 설정들을 꼼꼼히 체크해 보시기 바랍니다.
참고로 /home/pilot-pjt/storm/conf/storm.yaml 설정시 많은 분들이 실수를 합니다.
띄어쓰기, 대소문자, 줄바끔, 오타 등 꼼꼼히 확인해 보시기 바랍니다. - 빅디 올림
몇번이고 다시 해봤는데 바로 not running뜨네요.. http://server02.hadoop.com:8088/창은 열리는데 Summary에 아무것도 없이 빈창이네요... 이유를 알수있을까요?
로그시뮬레이터 작동에서 로그는 나오는데 hbase shell 에서 hbase(main):009:0> count 'DriverCarInfo'
0 row(s)
Took 0.0099 seconds
=> 0
이렇게 나오면 스톰에서 문제가 생긴건가요?
안녕하세요! 빅디 입니다.
이런 문제를 해결할땐, 데이터의 파이프라인(흐름)을 파악하고 어디에서 문제가 발생 했는지 의심스러운 부분을 좁혀가야 합니다.
지금 테스트중인 파이프라인은 아래와 같은데요..
-------------------Zookeeper--------------------
Flume > Kafka > Storm > HBase | Redis
----------------------HDFS-----------------------
현재 HBase에 데이터가 들어오지 않는건 Storm의 문제로도 볼수 있지만 Kafka 와 Zookeeper의 문제 일수도 있습니다. 물론 Flume의 문제도 의심해 봐야합니다.
각 단계 서버별 로그에서 Error가 있었는지, 그리고 그원인은 무었인지 파악해 보시고요..
Kafka 컨슈머를 작동시켜서 Kafka까지는 데이터가 잘 들어 오는지 확인이 되다면, Storm/Zookeeper/HBase의 문제로 좁혀 놓는 방법도 있습니다.
모두 점검해도 이상이 없을땐, 파일럿 환경의 반복적인 테스트와 비정상 종료등으로 주키퍼에서 관리되고 있는 각 서버들의 메타정보들이 꼬였을 확율이 높습니다.
그럼 아래의 절차대로 진행 하고, 재테스트 해보시기 바랍니다.
1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo
2. Service 명령으로 Storm 중지
3. CM에서 카프카 중지
4. CM에서 주키퍼 중지
5. CM에서 주키퍼 시작
6. CM에서 카프카 시작
7. Service 명령으로 Storm 시작
8. 스톰 토폴로지 배포
9. 실시간 로그시뮬레이터 작동
10. 테스트 결과 확인
- 빅디 드림
감사합니다. 덕분에 쉽게 해결했습니다.