• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트 에러

23.01.08 10:37 작성 23.01.08 10:52 수정 조회수 337

0

실시간 적재 파일럿 수행 시 로그 파일 작동하고 나서 아래와 같은 에러가 발생합니다

클러스터 상태는 아래와 같습니다.

 

답변 1

답변을 작성해보세요.

0

안녕하세요! Daniel Ryu님!

실시간 처리 단계는 스톰 토폴로지가 갖는 의존성(Zookeeper, Kafka, HBase 등)이 복잡하고, 이들이 싱글 노드로 구성 되어 있어서 테스트중 예상치 못한 오류가 자주 발생하는 편입니다. TT

보통은 파일럿 환경을 계속 리스타트 하면서, ZNode의 정보가 꼬이면서 자주 발생 하는 문제 입니다.

아래의 절차대로 다시 진행 하시면 해결 될 겁니다~ ^^

1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo

2. CM에서 카프카 중지

3. Service 명령으로 Storm 중지

4. CM에서 주키퍼 중지

5. CM에서 주키퍼 시작

6. Service 명령으로 Storm 시작

7. CM에서 카프카 시작

8. 스톰 토폴로지 배포

9. 실시간 테스트

- 빅디 드림