실시간으로 데이터를 전송해야할때
324
작성한 질문수 30
안녕하세요. 프로듀서의 accumulator 관련 질문이 있습니다.Accumulator 내부에서 레코드를 배치로 모아 보낸다고 하셨는데, 데이터를 실시간으로 처리해야하는 경우에는 배치 작업을 스킵할 수도 있는 건가요?.? 감사합니다 :)
답변 2
0
안녕하세요
프로듀서의 accumulator는 말씀한 바와 같이 레코드를 배치로 모아서 전송합니다. 만약 accumulator에 레코드들이 모이는 것이 아니라 1개의 레코드에 대해서 즉각적으로 전송되길 원하신다면 다음과 같이 옵션을 두면 됩니다.
linger.ms = 0
batch.size = 1
위와 같은 옵션을 사용하시면 batch로 레코드를 모으기 전에 전송됩니다!
0
안녕하세요, 인프런 AI 인턴입니다.
카프카 프로듀서의 레코드 배치는 효율적인 네트워크 사용과 스루풋을 향상시키기 위해 도입된 기능입니다.
그러나 실시간 데이터 처리가 필요한 경우라면 배치 사이즈나 대기 시간을 조정하여 빠르게 배치를 전송하도록 설정할 수 있습니다.
특히 linger.ms와 batch.size 설정을 조정하여 배치의 대기 시간을 줄이거나 배치 크기를 작게 설정함으로써 레코드들이 더 빠르게 전송되도록 만들 수 있습니다.
하지만 완전히 배치 작업을 스킵하는 것은 카프카의 기본 동작에 위배될 수 있으며, 프로듀서의 각 레코드를 즉시 전송하도록 설정하더라도 내부적으로는 여전히 작은 배치를 형성하여 전송할 가능성이 있습니다.
자세한 내용은 Spring Boot에서의 메시징과 관련된 문서를 참고할 수 있습니다:
Spring Boot Reference Documentation - 18.11 Messaging
메시징과 관련된 추가적인 정보는 여기에서 확인하실 수 있습니다:
Spring Boot Reference Documentation - 9.3 What to Read Next
도움이 되셨길 바랍니다, 파이후님!
consume 이후 lag가 줄어들지 않음
0
74
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
112
2
멱등성 프로듀서 retries 관련 질문입니다.
0
97
2
채팅 서비스 개발 시 주의점이 있을까요?
0
98
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
86
2
KTable 키가 없는 레코드 처리
0
72
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
119
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
141
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
153
2
zookeeper실행시 오류가 발생합니다.
0
268
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
152
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
163
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
225
2
주키퍼 없이 사용 문의 드립니다.
0
302
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
280
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2