inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

컨슈머 랙을 모니터링하는 방법

일시적으로 트래픽이 몰리는 상황

348

김형준

작성한 질문수 2

0

안녕하세요. 좋은 강의 감사합니다.

컨슈머 랙 단원에서 궁금한 점이 생겨 질문 드립니다.

추석과 같은 이벤트로 인해 일시적으로 트래픽이 몰리는 상황에서 파티션과 컨슈머를 추가함으로써 처리량을 늘려 대응한다고 말씀해주신 부분에서 궁금증이 생겼습니다.

파티션은 다시 줄일 수 없는 것으로 알고 있는데, 이러한 일시적 트래픽 증가를 대응하는 방안으로 적절한 지 여쭤보고 싶습니다.

일시적으로 트래픽이 엄청 몰리는 상황에 무턱대고 파티션을 n배 증가시켰다가 추후 트래픽이 다시 원래대로 돌아왔을 때 남은 파티션이 낭비되는 것이 아닌가 생각이 들어서요. (컨슈머는 감소가 가능하다고 쳐도요! - 리밸런싱)

혹은 다른 방안으로는 어떤게 있을 수 있을까요?

파티션 컨슈머랙 Kafka 데이터 엔지니어링

답변 1

1

데브원영 DVWY

안녕하세요 형준님,

말씀해주신 상황은 시스템의 운영 정책에 따라 다른 액션을 취할 수 있습니다. 만약 시스템이 절대로 지연이 허용되지 않는 상황이라면 트래픽이 일시적으로 몰리는 현상에도 정상적으로 처리하기 위해 파티션을 늘려야만 합니다. 반대로 지연이 어느정도 허용되고 일시적인 장애(또는 이벤트)현상으로 취급한다면 파티션을 늘리지 않는 것이 맞겠습니다.

그러므로 담당하고 계시는 시스템의 정책을 잘 정하는 것이 중요합니다.

카프카 ISR 개념 부분 질문

0

482

1

카프카 커넥터를 두가지 사용하는 이유

0

901

1

브로커, 토픽, 파티션관계

0

679

1

커넥트(소스), 커넥트(싱크)

1

537

1

카프카 isr 질문 있어요

0

329

1

파티션 질문 있어요

0

389

1

명령어 관련 문의드립니다.

0

427

2

토픽의 레코드가 라운드로빈으로 배정되는 방식 질문있습니다.

0

427

2

레코드에 json 형태의 데이터 넣는법 질문

0

431

2

카프카 도커로 실행

1

441

1

CCDAK 질문입니다!

0

1350

1

스트림즈 조인에 관련해서 질문드립니다.

0

303

1

min.insync.replicas에서 설정값만큼의 브로커 다운시

0

256

1

브로커로 메시지를 보낼때 null값인 경우

0

466

1

zookeeper 실행시 에러

1

784

1

온프레미스 환경 설치에 대해 질문있습니다.

0

352

1

리밸런싱 시, 메시지 중복 처리 문제

0

1062

1

강사님, Idempotence / transaction의 차이가 궁금합니다.

0

371

1

브로커 장애 발생시 질문

0

333

1

에러 핸들링과 관련하여 질문 드립니다

0

313

1

토픽 생성시 파티션이 배치되는 방법

0

355

1

질문있습니다!

0

138

1

카프카 스트림즈 에러 핸들링 질문 드립니다

0

397

1

카프카 클러스터 질문이 있습니다.

0

181

1