• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

CLI에서 메시지를 컨슈머로 읽을 때 배치시간에 영향을 받나요?

24.01.08 09:04 작성 조회수 113

0

Key가 없는 메시지의 파티션 분배전략 - 라운드로빈과 스티키 파티셔닝

 

해당 파트에서 프로듀서가 보낸 메시지를 우선 배치에 넣고 토픽에 삽입한다고 적혀있습니다.

 

그 전 강의에서 컨슈머가 해당 파티션을 읽고 있고 프로듀서로 값을 보내면 바로바로 읽혔습니다.

이것도 프로듀서에서 보낸 메시지를 배치에서 대기하다가 대기시간이 만료돼서 토픽에 값이 삽입된건가요? 그 시간이 너무 짧아서 실시간으로 읽히는 것처럼 보이는 것으로 이해하면 될까요?

답변 1

답변을 작성해보세요.

0

안녕하십니까,

네 맞습니다. 모든 카프카 메시지는 Batch로 먼저 쌓인 뒤에 토픽으로 보내지게 됩니다. Batch로 다 메시지가 쌓이지 않아도 linger.ms가 경과하면 바로 토픽으로 보내게 됩니다.

그 시간이 매우 짧아서 실시간 전송처럼 느껴질 뿐입니다. 이 후 강의에서 보다 자세하게 Producer의 전송 메커니즘에 대해서 설명 드립니다.

감사합니다.