inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

카프카 완벽 가이드 - 코어편

Producer의 max.in.flight.requests.per.connection 파라미터와 배치 메시지의 전송순서 이해

Kafka에 설정값이 엄청 많은데요

해결된 질문

395

목동 개발자

작성한 질문수 35

0

이직하는 회사가 Kafka 기반으로 MSA간 통신을 해서

max.in.flight.~ 강의까지 열심히 듣는 중입니다 ㅎㅎ


보다보니까 설정할 수 있는 영역이 엄청 많은데요~

보통 실무에서 로드테스트 등을 통해서 서비스에 적합한 값을 찾아가나요?

어느정도 경험이 없다면 최적의 설정값을 찾기가 어려울 것 같아서요 ㅎㅎ

kafka 데이터-엔지니어링

답변 1

0

권 철민

안녕하십니까,

네, 맞습니다. 오픈 전에 성능 테스트등으로 최적 설정값을 맞추는게 일반적인 과정입니다.

실시간 메시지 처리가 매우 Heavy하게 들어오는 경우는 미리 성능 테스트를 해서 설정값등을 최적화 하는데, 보통은 Consumer 관련해서 설정값을 변경하는 경우가 많습니다. 말씀하신대로 어느정도 경험적인 부분도 도움이 됩니다(기존에 비슷한 설정등을 참조)

다만 Kafka는 성능이 기본적으로 뛰어나기 때문에 Default 설정값만 놓고도 업무에서 요청하는 성능 요건을 만족하는 경우가 많기 때문에 필수적으로 설정값 튜닝이 필요하지 않을 수 있습니다.

감사합니다.

 

virtual box 설치 문제

0

59

2

카프카 서버 구축 관련 문의

0

62

2

카프카 토픽 Key 타입 변경에 관한 질문

0

65

2

Zookeeper에서 KRaft

0

75

1

카프카 학습과 관련하여 질문 드립니다

0

95

2

파티션 증가시 비용 증가 고려

0

66

2

Kafka 초기 Partition 개수 설정 관련 질문

0

80

2

VM 과 도커의 차이

0

135

2

vm 어댑터설정 문의

0

73

2

Cooperative Sticky Rebalancing 질문

0

55

2

consumer 설정 질문

0

65

2

consumer.poll 질문입니다.

1

66

2

mainThread.join() 관련 질문

0

54

2

문의

0

149

2

멀티 브로커 설정 중 포트 충돌 발생

0

118

2

Consumer Group 강의 Lag 질문있습니다!

0

104

2

강의 설명 및 코드 정리

0

171

2

실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..

0

148

1

java.nio.BufferUnderflowException 에러 발생합니다..

0

153

3

KafkaTimeoutError:

0

155

2

acks 1 이면 비동기가 아니지 않나요?!

0

182

2

Producer의 메시지 비동기화 전송 구현 강좌 내용 중 질문

0

105

2

자문자답: 데이터 누락된다고 하시는 분 참고하세요.

0

214

2

자문자답: kafka Error connecting to node utuntu-20.myguest.virtualbox.org:9092

0

197

2