동일 groupId에서 하나의 컨슈머에 특정 파티션을 지정하는 경우
187
작성한 질문수 58
안녕하세요,
동일 groupId를 가진 두 개의 컨슈머가 하나의 토픽에 대해 poll을 하는데, 컨슈머 중 하나는 0번 파티션을 읽도록 assign하였고 나머지 컨슈머는 그냥 토픽에 대해 subscribe를 하였습니다.
그런데 0번 파티션에 assign한 컨슈머는 데이터를 읽어오지 못하고 아래와 같은 에러 로그가 발생하였는데요
Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member
이 경우는 어떻게 해석하는게 좋을까요?
답변 1
0
안녕하십니까,
동일 Group id에 속하는 consumer들은 특정 토픽내의 파티션을 서로 배타적으로 읽어야 합니다. 두개의 consumer가 동일 파티션을 읽어서는 안됩니다. 강의에서도 말씀드리지만 consumer offset 관리는 단일 파티션에 대해서 Consumer Group id 별로 기록됩니다.
따라서 동일 Group id내 consumer a가 특정 파티션 0번만 읽도록 먼저 설정하더라도 나중에 consumer b 가 topic내 모든 파티션을 읽도록 설정한다면 consumer rebalance가 일어나서 기존 consumer a는 더 이상 파티션 0을 읽지 못하게 됩니다.
감사합니다.
virtual box 설치 문제
0
62
2
카프카 서버 구축 관련 문의
0
67
2
카프카 토픽 Key 타입 변경에 관한 질문
0
70
2
Zookeeper에서 KRaft
0
78
1
카프카 학습과 관련하여 질문 드립니다
0
98
2
파티션 증가시 비용 증가 고려
0
72
2
Kafka 초기 Partition 개수 설정 관련 질문
0
83
2
VM 과 도커의 차이
0
139
2
vm 어댑터설정 문의
0
78
2
Cooperative Sticky Rebalancing 질문
0
58
2
consumer 설정 질문
0
68
2
consumer.poll 질문입니다.
1
69
2
mainThread.join() 관련 질문
0
57
2
문의
0
153
2
멀티 브로커 설정 중 포트 충돌 발생
0
120
2
Consumer Group 강의 Lag 질문있습니다!
0
107
2
강의 설명 및 코드 정리
0
174
2
실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..
0
151
1
java.nio.BufferUnderflowException 에러 발생합니다..
0
158
3
KafkaTimeoutError:
0
157
2
acks 1 이면 비동기가 아니지 않나요?!
0
185
2
Producer의 메시지 비동기화 전송 구현 강좌 내용 중 질문
0
109
2
자문자답: 데이터 누락된다고 하시는 분 참고하세요.
0
216
2
자문자답: kafka Error connecting to node utuntu-20.myguest.virtualbox.org:9092
0
203
2