프로듀서 컨슈머 주요 옵션에 대한 문의가 있습니다.
226
작성한 질문수 37
bootstrap.servers 에 2개 이상의 브로커 정보를 입력하는 이유가 무엇일까요?
제가 생각하기로는 클러스터에 대한 주소 1개를 입력하면 되는게 아닌가 싶어서요
그래야지만 특정 브로커에서 문제가 생겼을 때 클러스터에 있는 다른 브로커로 접속해서 이슈가 없도록 설정하는 개념이 아닌가요?
클러스터에 있는 브로커중 2개 이상을 임의로 입력해야한다는 것인데, 항상 클러스터에 있는 모든 브로커 개수를 입력해야한가요? 그럼 브로커가 추가될 때마다 소스에 있는 bootstrap.servers 정보를 수정해야 하는게 아닌가요?
제가 원리를 잘못 이해한 것인지 답변부탁드립니다.
답변 1
0
bootstrap.servers 에 2개 이상의 브로커 정보를 넣는 이유는 1개 브로커에 장애가 발생했을 경우 해당 엔드포인트에 접근이 불가능하기 때문입니다. 예를 들어 A,B,C 브로커 엔드포인트가 있을 경우 A만 bootstrap.servers 을 설정했을 경우, A에 장애가 발생하면 카프카 클라이언트가 B,C 엔드포인트를 알 수 없기 때문에 접근이 불가능합니다.
그래서 실제 운영 환경에서는 특정 도메인(DNS)을 호출 했을 때 A,B,C 브로커 엔드포인트들(multiple IPs)을 받을 수 있도록 인프라 측에서 지정하여 해당 도메인을 bootstrap.servers 에 설정하는 것이 좋습니다.
설정하는 방법에 대한 자세한 내용은 https://blog.voidmainvoid.net/327 를 참고하세요.
consume 이후 lag가 줄어들지 않음
0
74
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
114
2
멱등성 프로듀서 retries 관련 질문입니다.
0
97
2
채팅 서비스 개발 시 주의점이 있을까요?
0
98
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
86
2
KTable 키가 없는 레코드 처리
0
72
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
154
2
zookeeper실행시 오류가 발생합니다.
0
268
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
163
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
225
2
주키퍼 없이 사용 문의 드립니다.
0
302
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2