카프카 브로커 cpu 사용률 관련입니다.

Question

안녕하세요, 강의 잘 봤습니다. 카프카의 실제 운영관점의 질문을 드리고자 합니다.   상황에 따라 다르겠지만, 카프카 브로커의 권장 cpu 스펙이 있을까요?   카프카 브로커의 cpu사용률은 무엇에 크게 좌우될지 궁금합니다. 예를들면, 토픽 및 파티션의 수에 비례한다든지, 메시지 사이즈에 비례한다든지   질문드리는 이유는 카프카를 신규 구성 예정인데요, 내부적으로 테스트 해봤을때 업무량에 크게 좌우되지는 않는 것 같았는데, 파티션 수가 많은 경우에 튀어 보이긴 합니다.   참고로 압축기능은 사용하지 않습니다.

데브원영 DVWY · Answer

안녕하세요. 카프카 브로커의 권장 사양은 상황에 따라 다르기 때문에 보통 기업에서는 주로 다루는 표준 DB장비의 스펙으로 맞추고 추후 스케일업/아웃 하는 방식으로 튜닝/운영을 합니다. 그러나 표준 장비 스펙이 없다면 컨플루언트에서 제안하는 CPU 24코어 이상, 메모리 64GB 이상, RAID10이 적용된 DISK를 사용하시는 것도 좋을것 같습니다. 브로커의 CPU 사용률은 파티션의 총 개수에 따라 달라질 수 있습니다. 그 외에도 다양한 이유(메시지 크기, 암호화 등)로 달라질 수 있을 것으로 보입니다.

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴이에요. 카프카 브로커의 권장 CPU 스펙과 CPU 사용률이 무엇에 좌우되는지 궁금하시군요. 카프카 브로커의 권장 CPU 스펙은 공식적으로 명시되어 있지는 않습니다. 오히려 브로커의 성능은 주로 다른 요소에 의해서 영향을 받게 됩니다. 예를 들어, 토픽과 파티션의 수, 메시지 크기, 컨슈머 그룹의 수 등입니다. 토픽 및 파티션의 수가 많을수록 브로커의 CPU 사용량은 증가할 수 있습니다. 이는 메시지의 저장, 복제, 전송 등의 작업이 더 많이 발생하기 때문입니다. 또한, 메시지의 크기가 크다면 CPU 사용량이 증가할 수 있습니다. 하지만 압축 기능을 사용하지 않으셔서 해당 부분은 영향이 없을 것입니다. 실제로 업무량이 많지 않더라도 파티션 수가 많은 경우에는 CPU 사용량이 높게 나타날 수 있습니다. 이는 한 번에 처리해야 할 작업의 양이 많아지기 때문입니다. 따라서, 카프카 브로커의 성능을 위해서는 토픽과 파티션의 수, 메시지 크기 등을 고려하여 적절한 CPU 스펙을 선택하시면 좋을 것입니다. 더 자세한 내용은 카프카 공식 문서나 카프카 기반의 입문자 강의를 참고하시면 도움이 될 것입니다. 도움이 되셨기를 바랍니다. 더 궁금한 사항이 있다면 언제든지 물어보세요. 감사합니다.