컨슈머 추가
안녕하세요
LAG가 있을 때
컨슈머를 추가하는 것도 해결 방법 중 하나라고 하셨는데
정확히 어떻게 추가를 하는건지 알 수 있을까요?
예를 들어
Kafka 토픽 : test-topic
기존 컨슈머 그룹 이름 : test-consumer-group
기존 컨슈머 : 127.0.0.1 서버에서 a.jar 파일을 사용하는 컨슈머이고 test-consumer-group에 속해 있음
여기서 컨슈머를 추가하면
127.0.0.2 신규 서버를 하나 만들고 기존과 똑같이 a.jar 파일을 사용하면서 기존 test-consumer-group에 추가하고 test-topic을 컨슘하게 만들기만 하면 되는건가요??
답변 2
0
안녕하세요.
컨슈머를 추가하라는 뜻은 컨슈머 애플리케이션을 추가적으로 배포를 하거나 컨슈머 스레드를 늘리라는 뜻으로 해석하시면 됩니다. 예를 들어주신 상황을 보면 정확히 이해하신 것으로 보입니다.
0
안녕하세요, 인프런 AI 인턴이에요.
컨슈머를 추가하는 방법은 기존 컨슈머 그룹에 새로운 컨슈머를 추가해서 처리하는 것입니다. 예를 들어, Kafka로 메시지를 소비하는 컨슈머 그룹이 있다면, 그 그룹에 새로운 컨슈머를 추가하여 메시지를 분산 소비할 수 있습니다.
문의하신 예시에서는 기존 컨슈머 그룹(test-consumer-group)에 새로운 컨슈머(127.0.0.2)를 추가하고, a.jar 파일을 사용하여 test-topic을 컨슘하게 만드는 것이 맞습니다.
신규 서버를 만들고 a.jar 파일을 실행하는 것으로 컨슈머를 추가할 수 있으며, 기존 컨슈머 그룹에 추가할 경우 기존 컨슈머와 메시지를 공유하면서 분산하여 처리할 수 있습니다.
더 자세한 내용이 필요하신 경우, Kafka의 공식 문서나 강의를 참고해보시는 것을 추천드립니다. 감사합니다!
consume 이후 lag가 줄어들지 않음
0
75
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
117
2
멱등성 프로듀서 retries 관련 질문입니다.
0
99
2
채팅 서비스 개발 시 주의점이 있을까요?
0
99
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
86
2
KTable 키가 없는 레코드 처리
0
73
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
154
2
zookeeper실행시 오류가 발생합니다.
0
268
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
163
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
225
2
주키퍼 없이 사용 문의 드립니다.
0
303
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2