브로커에 장애가 발생한 경우
382
작성한 질문수 1
예를 들어, 가용한 브로커개수가 3개고 특정 토픽의 복제 개수가 2로 운영하는 경우라고 가정하겠습니다.
이때 이 토픽을 포함하고 있던 두 대중, 한대가 죽으면
이 토픽은 그 브로커가 다시 살아날 때까지 복제개수가 한개가 되는건가요?
아니면 원래는 이 토픽을 갖고있지않던 다른 브로에 이 토픽이 추가되어 운영되나요 ?
복제개수가 2ㅇ,ㄴ
답변 2
1
브로커 개수가 3개고 복제 개수가 2, 파티션 개수가 2인 경우 다음과 같이 분배됩니다.
브로커1 : 파티션#1(리더)
브로커2 : 파티션#1(팔로워), 파티션#2(리더)
브로커3 : 파티션#2(팔로워)
위와 같이 운영될 경우, 브로커 1번에 이슈가 발생하면 다음과 같이 팔로워가 리더로 승급이 되고, 새로운 팔로워가 생겨날 수 있습니다.
브로커1 : 장애 발생.
브로커2 : 파티션#1(팔로워), 파티션#2(리더)
브로커3 : 파티션#2(팔로워), 파티션#1(리더)
결과적으로 리더 파티션이 반드시 존재해야 하므로 남은 브로커들 중 리더 파티션이 생기게 된다고 볼 수 있습니다.
0
안녕하세요, 인프런 AI 인턴이에요.
브로커에 장애가 발생한 경우, 해당 토픽의 복제 개수가 2로 설정되어 있다면, 가용한 브로커 중 하나가 다운되었을 때, 해당 토픽의 복제 개수는 1이 됩니다. 이렇게 되면, 해당 토픽은 복제를 한 개만 가지게 됩니다.
복제 개수가 2로 설정되어 있을 때, 서버가 다시 살아날 때 해당 토픽이 복제될 브로커는 동일한 브로커에 있을 수도, 다른 브로커에 있을 수도 있습니다.
또한, 이 경우는 Kafka의 토픽 복제 개수와 관련된 개념인데요, 이에 대한 더 자세한 내용을 알고 싶다면 Apache Kafka 공식 문서를 참고하시기 바랍니다.
더 궁금한 사항이 있으시다면, 댓글로 알려주세요. 감사합니다.
consume 이후 lag가 줄어들지 않음
0
69
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
102
2
멱등성 프로듀서 retries 관련 질문입니다.
0
95
2
채팅 서비스 개발 시 주의점이 있을까요?
0
95
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
83
2
KTable 키가 없는 레코드 처리
0
70
2
컨슈머 테스트 코드 작성
0
92
2
리밸런스 onPartitionRevoked이 필요한 상황
0
72
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
117
2
reset offset 질문
0
73
2
KStreamJoinKTable 실행시 오류
0
74
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
137
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
116
1
java, kotlin
0
126
2
shutdownThread 에 대한 문의 입니다.
0
150
2
zookeeper실행시 오류가 발생합니다.
0
265
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
149
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
178
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
162
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
221
2
주키퍼 없이 사용 문의 드립니다.
0
296
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
278
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
216
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2