파티션, 컨슈머 그룹, 컨슈머 관련 질문
116
4 asked
안녕하세요 원영님, 강의를 듣다가 궁금한 점이 생겼습니다.
1-1. 하나의 파티션은 여러 컨슈머에 할당될 수 없다고 하셨는데 엄밀히 말하면 '동일 컨슈머 그룹' 기준으로 여러 컨슈머에 할당될 수 없는게 맞을까요?
엘라스틱서치, 하둡 예제에 따르면 하나의 파티션이 엘라스틱서치,하둡 컨슈머에 할당되어 있어서요.
1-2. 컨슈머 그룹마다 동일 파티션에 대해 다른 offset를 가질까요?
엘라스틱서치, 하둡 예제를 보면 각각의 컨슈머가 동일한 파티션을 구독하고 있습니다. 만약 엘라스틱서치,하둡 컨슈머가 동일한 offset을 가진다면 어느 한쪽에서 이미 커밋한 레코드는 다른 쪽에서 poll하지 못할 것으로 예상되어 질문드립니다.
2.하나의 컨슈머가 여러 토픽을 구독하는 경우는 실무 기준으로 어떤 case가 있을지 궁금합니다.
강의 잘 듣고 있습니다. 감사합니다.
Answer 1
0
안녕하세요~ 답변드리겠습니다
1-1. 하나의 파티션은 컨슈머 그룹에 묶인 컨슈머에 대해서 여러개가 할당될 수 없습니다. 즉, '동일 컨슈머 그룹' 일 경우에 대해서 할당이 안되는 것이 맞습니다. 서로 다른 컨슈머 그룹에 대해서는 별개로 동작합니다!
1-2. 컨슈머 그룹별로 파티션별로 다른 commit이 완료된 오프셋을 가집니다. 예를 들어 파티션이 3개인 토픽에 hdfs-group과 elasticsearch-group 이라는 각각의 컨슈머 그룹이 붙어 데이터를 처리한다고 했을 때, hdfs-group은 각 파티션에 해당하는 커밋된 오프셋이 3개 존재하고 elasticsearch-group에도 마찬가지로 각 파티션에 해당하는 커밋되 오프셋이 3개 존재할 수 있습니다. 서로 다른 컨슈머 그룹의 오프셋은 영향을 미치지 않는다는점 참고부탁드립니다.
2.하나의 컨슈머가 여러 토픽을 구독하는 경우는 실무 기준으로 흔하지는 않은것 같습니다. 스키마가 비슷하고 동시에 처리되어야 할 경우와 같이 특수한 경우에 여러 토픽을 구독할 상황이 있을 수는 있습니다.
감사합니다!
consume 이후 lag가 줄어들지 않음
0
71
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
102
2
멱등성 프로듀서 retries 관련 질문입니다.
0
95
2
채팅 서비스 개발 시 주의점이 있을까요?
0
95
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
83
2
KTable 키가 없는 레코드 처리
0
70
2
컨슈머 테스트 코드 작성
0
92
2
리밸런스 onPartitionRevoked이 필요한 상황
0
72
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
117
2
reset offset 질문
0
73
2
KStreamJoinKTable 실행시 오류
0
74
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
138
2
java, kotlin
0
126
2
shutdownThread 에 대한 문의 입니다.
0
151
2
zookeeper실행시 오류가 발생합니다.
0
265
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
149
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
178
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
162
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
221
2
주키퍼 없이 사용 문의 드립니다.
0
297
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
278
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
217
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2
카프카 2.8.2 버전과 많이 차이가 있을까요??.
0
161
2