Kafka Cluster 질문

Question

Kafka Cluster 강의 약 11분 38초 쯤에서 Broker 2(topic 1, partition 2)에 장애가 발생하면, 다른 정상 Broker에서 Leader를 재선출 한다고 하셨는데, 그렇다면 해당 그림의 경우 Broker 1의 topic 1의 Leader가 partition 1에서 partition 2로 바뀌는 것인가요? 기존에 정상적으로 있던 Broker 1의 topic 1의 partition 1은 Leader의 자격을 잃는 것인가요? 다시 말씀드리면, 정상 Broker에서 Leader를 재선출하면, 기존 토픽에 있는 Leader Partition이 어떻게 되는지 궁금합니다..!

쿠케 · Answer

parkhs님, 안녕하세요!   토픽1/파티션1의 리더는 이미 브로커1에 선출된 상황입니다. 브로커2에 장애가 발생하더라도, 브로커1에서 이미 리더로 동작하던 파티션은 변동 없습니다! 장애 브로커에 리더가 있었다면 재선출할 필요성이 생기지만, 이미 정상 브로커에 리더가 있었다면 굳이 재선출할 필요는 없기 때문에 그대로 유지됩니다!

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴입니다. parkhs님. Kafka에서 Broker 간의 장애가 발생했을 경우, 리더 파티션의 역할이 재조정되는 과정을 이해하는 것은 중요한 주제입니다. 간단히 요약해서 설명드리면: Kafka 리더 선출 과정 파티션 리더가 다운된 경우 : 장애가 발생하여 Leader 파티션이 있는 Broker가 더는 사용할 수 없을 때, Kafka는 자동으로 남은 Replica 중에서 새로운 Leader를 선출합니다. 자동 리더 재배치 : Kafka는 ZooKeeper를 통해 클러스터의 상태를 모니터링하며, 리더가 다운되었을 때 설정된 In-Sync Replica(ISR) 중에서 새로운 리더를 자동으로 선출하여 클러스터의 가용성을 유지합니다. 기존 리더 파티션의 처리 : 기존의 정상적인 Broker에서 장애가 발생한 Broker의 역할을 이어받기 때문에, 새로운 Leader로 선출된 파티션이 기존 Brokker에 존재하던 다른 파티션의 리더십을 뺏는 것은 아닙니다. 대신, ISR의 구성에 따라 다른 파티션들이 자동으로 리더 역할을 수행하게 됩니다. 따라서, parkhs님이 지적하신 것이 맞다면 Broker 1에 이미 Partition 1에 대한 리더 역할이 있었을 경우, 해당 리더 역할은 변하지 않으며, 다른 Broker(장애가 발생한 Broker의 나머지 옵션)에서 새로운 리더가 선출될 것입니다. 관련 자료 아래 링크에서 유사한 해결 방법과 추가적인 설명을 확인할 수 있습니다. - Kafka Leader Election과 Partition 관리 방안 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.