묻고 답해요

일시적으로 트래픽이 몰리는 상황

미해결

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

안녕하세요. 좋은 강의 감사합니다. 컨슈머 랙 단원에서 궁금한 점이 생겨 질문 드립니다. 추석과 같은 이벤트로 인해 일시적으로 트래픽이 몰리는 상황에서 파티션과 컨슈머를 추가함으로써 처리량을 늘려 대응한다고 말씀해주신 부분에서 궁금증이 생겼습니다. 파티션은 다시 줄일 수 없는 것으로 알고 있는데, 이러한 일시적 트래픽 증가를 대응하는 방안으로 적절한 지 여쭤보고 싶습니다. 일시적으로 트래픽이 엄청 몰리는 상황에 무턱대고 파티션을 n배 증가시켰다가 추후 트래픽이 다시 원래대로 돌아왔을 때 남은 파티션이 낭비되는 것이 아닌가 생각이 들어서요. (컨슈머는 감소가 가능하다고 쳐도요! - 리밸런싱) 혹은 다른 방안으로는 어떤게 있을 수 있을까요?

• 파티션
• 컨슈머랙
• Kafka
• 데이터 엔지니어링