inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

6.실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트

실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트 에러

448

daniel

작성한 질문수 58

0

실시간 적재 파일럿 수행 시 로그 파일 작동하고 나서 아래와 같은 에러가 발생합니다

클러스터 상태는 아래와 같습니다.

 

Hadoop bigdata Impala redis ZooKeeper Kafka Flume 데이터 엔지니어링

답변 1

0

Big.D

안녕하세요! Daniel Ryu님!

실시간 처리 단계는 스톰 토폴로지가 갖는 의존성(Zookeeper, Kafka, HBase 등)이 복잡하고, 이들이 싱글 노드로 구성 되어 있어서 테스트중 예상치 못한 오류가 자주 발생하는 편입니다. TT

보통은 파일럿 환경을 계속 리스타트 하면서, ZNode의 정보가 꼬이면서 자주 발생 하는 문제 입니다.

아래의 절차대로 다시 진행 하시면 해결 될 겁니다~ ^^

1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo

2. CM에서 카프카 중지

3. Service 명령으로 Storm 중지

4. CM에서 주키퍼 중지

5. CM에서 주키퍼 시작

6. Service 명령으로 Storm 시작

7. CM에서 카프카 시작

8. 스톰 토폴로지 배포

9. 실시간 테스트

- 빅디 드림

주제영역3 데이타 조회 문의

0

40

2

환경 세팅 후 클라우데라매니저 삭제시

0

67

2

수강 기간 연장 부탁드립니다ㅠ

0

60

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

89

2

gcc 설치 에러

0

118

3

클러스터 설정 오류

0

92

2

클라우데라 클러스터 설치로 안넘어가짐

0

121

2

버추어박스 5.0 설치

0

142

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

80

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

151

3

환경세팅 질문있습니다.

0

107

2

버쥬얼박스

0

76

2

호스트 불량 문제에 관하여

0

110

2

하이브쿼리에서 에러가 나요...

0

170

3

하이브쿼리에서 에러

0

120

1

Hbase에 적재된 데이터 확인시 에러

0

147

2

파이썬 설치 시 에러

0

160

2

redis-cli 데이터 적재 확인

0

143

2

카프카 토픽 생성에서 에러

0

139

2

HDFS 명령어를 치는데 오류가 납니다

0

135

2

가상환경 내보내기

0

109

1

SpoolDIR 폴더로 옮기

0

105

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

122

2