Kafka Cluster 질문

스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판

Kafka Cluster

해결된 질문

작성

Kafka Cluster 강의 약 11분 38초 쯤에서 Broker 2(topic 1, partition 2)에 장애가 발생하면, 다른 정상 Broker에서 Leader를 재선출 한다고 하셨는데, 그렇다면 해당 그림의 경우 Broker 1의 topic 1의 Leader가 partition 1에서 partition 2로 바뀌는 것인가요?

기존에 정상적으로 있던 Broker 1의 topic 1의 partition 1은 Leader의 자격을 잃는 것인가요?

다시 말씀드리면, 정상 Broker에서 Leader를 재선출하면, 기존 토픽에 있는 Leader Partition이 어떻게 되는지 궁금합니다..!

java mysql spring-boot kafka redis

답변 2

쿠케

지식공유자

parkhs님, 안녕하세요!

토픽1/파티션1의 리더는 이미 브로커1에 선출된 상황입니다.

브로커2에 장애가 발생하더라도, 브로커1에서 이미 리더로 동작하던 파티션은 변동 없습니다!

장애 브로커에 리더가 있었다면 재선출할 필요성이 생기지만,

이미 정상 브로커에 리더가 있었다면 굳이 재선출할 필요는 없기 때문에 그대로 유지됩니다!

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. parkhs님.

Kafka에서 Broker 간의 장애가 발생했을 경우, 리더 파티션의 역할이 재조정되는 과정을 이해하는 것은 중요한 주제입니다. 간단히 요약해서 설명드리면:

Kafka 리더 선출 과정

파티션 리더가 다운된 경우: 장애가 발생하여 Leader 파티션이 있는 Broker가 더는 사용할 수 없을 때, Kafka는 자동으로 남은 Replica 중에서 새로운 Leader를 선출합니다.
자동 리더 재배치: Kafka는 ZooKeeper를 통해 클러스터의 상태를 모니터링하며, 리더가 다운되었을 때 설정된 In-Sync Replica(ISR) 중에서 새로운 리더를 자동으로 선출하여 클러스터의 가용성을 유지합니다.
기존 리더 파티션의 처리: 기존의 정상적인 Broker에서 장애가 발생한 Broker의 역할을 이어받기 때문에, 새로운 Leader로 선출된 파티션이 기존 Brokker에 존재하던 다른 파티션의 리더십을 뺏는 것은 아닙니다. 대신, ISR의 구성에 따라 다른 파티션들이 자동으로 리더 역할을 수행하게 됩니다.

따라서, parkhs님이 지적하신 것이 맞다면 Broker 1에 이미 Partition 1에 대한 리더 역할이 있었을 경우, 해당 리더 역할은 변하지 않으며, 다른 Broker(장애가 발생한 Broker의 나머지 옵션)에서 새로운 리더가 선출될 것입니다.

인프런 커뮤니티 질문&답변

Kafka Cluster 질문

Kafka 리더 선출 과정

관련 자료