inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

7.수집 파일럿 실행 5단계 - 수집 기능 테스트

kafka 실행이 안됩니다.

63

gg970904

작성한 질문수 1

0

삭제된 글입니다

Hadoop bigdata Impala Flume Kafka 데이터 엔지니어링 redis ZooKeeper

답변 1

0

Big.D

안녕하세요! 빅디 입니다.

질문 주신 offset 실행이 안된다는게 무슨 의미인지 정학히 이해가 되진 않지만..우선 아래와 같이 답변 드려봅니다. ^^;; 

위에서 실행하신 카프카 컨슈머 명령은 offset 옵션을 따로 주지 않았기 때문에, 해당 토픽에 프로바이더가 보낸 실시간 메시지 확인만 가능 한 옵션 입니다.

해당 컨슈머 명령을 실행과 동시에 특정 offset부터 데이터를 볼려면 추가 옵션들이 들어가야 합니다.

간단하게 컨슈머 실행과 동시에, 최근 하나의 데이터를 출력 하려면 다음과 같은 옵션을 주고 컨슈머를 실행 하면 됩니다.

--reset-offsets --to-latest --execute

외에도 다양한 offset 옵션들이 있습니다.
관련해 kafka offset 이라는 키워드로 구글링 해보시면 많은 자료를 참고해 보실 수 있습니다.

- 빅디 드림 

kafka-consumer-groups --bootstrap-server <host:port> --group <group> --topic <topic> --reset-offsets --to-earliest --execute
kafka-consumer-groups --bootstrap-server <host:port> --group <group> --topic <topic> --reset-offsets --to-earliest --execute

주제영역3 데이타 조회 문의

0

58

2

환경 세팅 후 클라우데라매니저 삭제시

0

81

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

99

2

gcc 설치 에러

0

138

3

클러스터 설정 오류

0

107

2

클라우데라 클러스터 설치로 안넘어가짐

0

126

2

버추어박스 5.0 설치

0

155

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

162

3

환경세팅 질문있습니다.

0

114

2

버쥬얼박스

0

83

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

184

3

하이브쿼리에서 에러

0

129

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

170

2

redis-cli 데이터 적재 확인

0

144

2

카프카 토픽 생성에서 에러

0

146

2

HDFS 명령어를 치는데 오류가 납니다

0

139

2

가상환경 내보내기

0

113

1

SpoolDIR 폴더로 옮기

0

113

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

129

2