미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
안녕하세요.카프카 클러스터 규모를 추산하던 중 감당 가능한 토픽/파티션 수가 궁금하여 질문드립니다. 예를 들어,Replication Factor를 3으로 가정할 때 레플리카 개수가 대략 10,000개가 나옵니다(3,000 파티션 × replication factor 3)파티션 10개인 토픽 100개: 1,000개파티션 20개인 토픽 100개: 2,000개총 파티션: 3,000개RF가 3일 때 전체 클러스터 레플리카 수: 9,000개추후 토픽 추가에 따라 레플리카 수가 최대 18,000개까지 늘어날 수 있음토픽과 파티션 규모가 이 정도라면 카프카 클러스터를 적절한 단위(도메인)로 나눠야 할지,아니면 한 클러스터에서 충분히 운용 가능한지 궁금합니다.클러스터를 하나로 구성하여 사용하자니 레플리카 수가 감당 가능할지 고민되고클러스터를 여러개로 구성하여 사용하자니 그에 따른 비용과 오버 엔지니어링이 고민됩니다.파티션이 많을수록 파일 같은 자원을 더 사용하고 각 클라이언트로부터 수많은 요청을 받게 되는데, 브로커를 충분히 늘리면 감당 가능한 정도일까요?큰 규모의 카프카 클러스터를 운용해본 적이 없어 강사님께서 카프카 클러스터를 어떻게 운용하셨는지 여쭤봅니다. (이정도 수준의 레플리카를 운용해본적이 있는지 등)참고로 카프카는 3.x (KRaft 모드) 버전을 사용하려고 합니다.아래는 참고한 자료입니다.참고1) 컨플루언트 개발자 가이드에 따르면 토픽은 KRaft일 때 수백만 개 생성 가능하다고 하지만결국 각 토픽당 파티션 수에 따라 달진다고 언급하고 있습니다.참고2) 컨플루언트 블로그에 따르면 가용성을 고려하면 2,000~4,000개를 권장하고, 지연시간을 고려하면 100 × b × r (b: 브로커 수, r: 복제 팩터) 공식을 제안하고 있습니다.그런데 10년 전에 작성된 글이라 현재는 더 많이 지원하지 않을까 싶습니다.