inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

카프카 완벽 가이드 - 코어편

Producer의 메시지 배치 전송 내부 메커니즘 - Record Batch와 Record Accumulator 이해

producer의 record accumulator의 토픽에 대한 정보는 어떻게 얻어오게 되나요?

251

도리강

작성한 질문수 15

0

어플리케이션 기동시 브로커에서 설정정보를 읽은 다음에 존재하고 있는 Topic만큼 Record Accumulator내에 토픽별 파티션 Batch를 생성하는건가요?

만약 브로커에서 C라는 토픽이 생성하게 되면 리밸런싱이 되면서 producer서버에 새로운 토픽이 생성되었다는 것을 알리고 프로듀서의 Record Accumulator 내에도 C토픽에 대한 영역이 추가가 되는지 궁금합니다

kafka 데이터-엔지니어링

답변 1

1

권 철민

안녕하십니까,

프로듀서는 메시지를 보내는 시점에 특정 토픽을 정해줘야 합니다. 그러니까, 어떤 토픽에 메시지를 보내야 할지 그 토픽이 미리 메세지에 지정되어 있고, 그 메시지를 broker로 보내게 됩니다. 그래서 ProducerRecord를 생성할 때 Topic명을 지정하게 되어있습니다.

때문에 프로듀서는 브로커에 어떤 신규 토픽C가 생겼는지에 대한 영향을 받지 않고, 이들 신규 토픽 C에 대한 영역을 추가해줄 필요도 없습니다.

감사합니다.

virtual box 설치 문제

0

60

2

카프카 서버 구축 관련 문의

0

66

2

카프카 토픽 Key 타입 변경에 관한 질문

0

70

2

Zookeeper에서 KRaft

0

78

1

카프카 학습과 관련하여 질문 드립니다

0

96

2

파티션 증가시 비용 증가 고려

0

70

2

Kafka 초기 Partition 개수 설정 관련 질문

0

82

2

VM 과 도커의 차이

0

139

2

vm 어댑터설정 문의

0

78

2

Cooperative Sticky Rebalancing 질문

0

58

2

consumer 설정 질문

0

68

2

consumer.poll 질문입니다.

1

69

2

mainThread.join() 관련 질문

0

57

2

문의

0

153

2

멀티 브로커 설정 중 포트 충돌 발생

0

120

2

Consumer Group 강의 Lag 질문있습니다!

0

107

2

강의 설명 및 코드 정리

0

174

2

실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..

0

151

1

java.nio.BufferUnderflowException 에러 발생합니다..

0

156

3

KafkaTimeoutError:

0

157

2

acks 1 이면 비동기가 아니지 않나요?!

0

184

2

Producer의 메시지 비동기화 전송 구현 강좌 내용 중 질문

0

109

2

자문자답: 데이터 누락된다고 하시는 분 참고하세요.

0

215

2

자문자답: kafka Error connecting to node utuntu-20.myguest.virtualbox.org:9092

0

200

2