inflearn logo
강의

Course

Instructor

[Apache Kafka Application Programming] From concepts to consumers, producers, connects, and streams!

kafka-consumer-groups.sh

reset offset 질문

73

rhxorhkd7708

1 asked

0

--reset-offsets --to-earliest 같은 커맨드를 할 때 제일 처음으로 오프셋이 바뀌는데, 만약 파티션이 여러개일경우에는 어떻게 하나요? 특정파티션만 오프셋을 조절할 수 있는 커맨드도 있나요?

kafka 데이터-엔지니어링

Answer 2

0

dvwy

안녕하세요. 특정 파티션 1개에 대해서만 오프셋을 reset하시려면 다음과 같이 실행하시면 됩니다.

// 대상 토픽 : test
// 컨슈머 그룹 : my-group
// 대상 파티션 : 3

$ bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --group my-group \
  --topic test:3 \
  --reset-offsets \
  --to-earliest \
  --execute

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다.

고태광님께서 문의하신 카프카에서의 오프셋 리셋 관련 질문에 대한 답변을 드리겠습니다.

카프카에서는 kafka-consumer-groups.sh 스크립트를 사용하여 특정 컨슈머 그룹의 파티션 오프셋을 관리할 수 있습니다. --reset-offsets 옵션과 함께 --to-earliest를 사용하면 모든 파티션의 오프셋이 가장 처음으로 설정됩니다. 그러나, 특정 파티션의 오프셋만 조정하고자 할 때는 --partition 옵션을 추가하여 원하는 파티션만 지목할 수 있습니다. 예를 들어, 특정 파티션의 오프셋을 변경할 때는 다음과 같은 명령어를 사용할 수 있습니다:

kafka-consumer-groups.sh --bootstrap-server <서버주소> --group <그룹이름> --reset-offsets --to-earliest --topic <토픽이름> --partition <파티션번호> --execute

위 명령어에서 <파티션번호>에 원하는 파티션 번호를 입력하면 특정 파티션에 대해서만 오프셋이 조정됩니다.

관련된 기존 답변을 참고하면, 오프셋 리셋 문의 게시물을 통해 특정 파티션의 오프셋을 변경하는 방법과 구현의 유의점을 설명한 자료가 제공됩니다. 이와 같은 정보를 바탕으로, 특정 파티션에 대해 오프셋을 조정하는 방법을 상세히 이해하실 수 있을 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해 드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

consume 이후 lag가 줄어들지 않음

0

71

2

안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.

0

102

2

멱등성 프로듀서 retries 관련 질문입니다.

0

95

2

채팅 서비스 개발 시 주의점이 있을까요?

0

95

2

충분히 큰 파티션 생성시 궁금증이 존재합니다.

0

83

2

KTable 키가 없는 레코드 처리

0

70

2

컨슈머 테스트 코드 작성

0

92

2

리밸런스 onPartitionRevoked이 필요한 상황

0

72

2

카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의

0

117

2

KStreamJoinKTable 실행시 오류

0

74

2

auto.commit.interval.ms 옵션 관련 질문 드립니다.

0

138

2

파티션, 컨슈머 그룹, 컨슈머 관련 질문

0

116

1

java, kotlin

0

126

2

shutdownThread 에 대한 문의 입니다.

0

151

2

zookeeper실행시 오류가 발생합니다.

0

265

2

커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?

0

149

2

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

0

178

3

파티션 개수와 컨슈머 개수의 처리량 관련 질문

0

162

2

동영상 및 이미지 처리 관련 문의 드립니다.

0

221

2

주키퍼 없이 사용 문의 드립니다.

0

297

1

kafka 를 띄우니 오류가 발생하고 종료합니다.

0

278

3

zookeeper 실행시 오류 .. 무엇을 해야 할까요?

0

217

2

파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?

0

192

2

카프카 2.8.2 버전과 많이 차이가 있을까요??.

0

161

2