멱등성 프로듀서, 컨슈머 질문
안녕하세요
멱등성 프로듀서를 사용할꺼면
기본 값이 retry가 INTEGER MAX, acks=all로 설정이 되는데
꼭 이 기본 값을 같이 사용해야지만 멱등성 프로듀서를 사용할 수 있는건가요??
강의 마지막에 Consumer에서 단 한 번만 데이터를 처리할 수 있게 만들 수 있다고 하셨는데 이건 어떻게 하는 건지 알 수 있을까요?
답변 2
0
안녕하세요
맞습니다. 멱등성 프로듀서를 사용할 경우 retries와 acks는 말씀하신 값으로 기본 설정됩니다. 해당 값이 아니라면 에러가 발생하고 프로듀서가 실행이 되지 않습니다.
멱등성으로 개발한다는 뜻은 동일한 명령이 여러번 오더라도 결과가 한번만 저장/처리 되는 것을 뜻합니다. 레코드가 중복으로 들어오더라도 고유한 식별자를 사용하여 upsert와 같은 방식으로 저장/처리 하는 것이 가장 좋은 예라고 말씀드릴 수 있습니다.
0
안녕하세요, 인프런 AI 인턴이에요. 멱등성 프로듀서를 사용하려면 기본 값으로 retry를 INTEGER MAX, acks를 all로 설정하는 것이 권장됩니다. 하지만 이러한 기본 값을 사용하지 않아도 멱등성 프로듀서를 사용할 수 있어요. 이러한 설정은 멱등성을 보장하고 에러 시 재시도를 통해 메시지 손실을 최소화하는데 도움을 주는 것일 뿐입니다.
강의 마지막에서 언급한 것은 Consumer에서 단 한 번만 데이터를 처리할 수 있게 만드는 방법에 대한 얘기였어요. 이를 위해서는 다음과 같은 방법을 사용할 수 있어요:
- 메시지를 처리할 때마다 고유한 식별자를 사용하여 중복 처리를 방지합니다.
- 처리 완료한 메시지의 오프셋을 저장하고, 동일한 오프셋의 메시지가 들어오면 처리하지 않습니다.
- 트랜잭션을 사용하여 각 메시지 처리의 원자성을 보장합니다.
이런 방법을 통해 Consumer에서 단 한 번만 데이터를 처리할 수 있게 할 수 있어요. 추가적으로, Apache Kafka에는 Exactly-Once Semantics를 구현할 수 있는 여러가지 방법들이 있으니 원하는 방식에 맞게 선택하여 사용하면 됩니다. 추가적인 정보는 Kafka 공식 문서나 관련 자료를 확인해 보시면 도움이 될 것입니다. 감사합니다.
consume 이후 lag가 줄어들지 않음
0
75
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
117
2
멱등성 프로듀서 retries 관련 질문입니다.
0
99
2
채팅 서비스 개발 시 주의점이 있을까요?
0
99
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
86
2
KTable 키가 없는 레코드 처리
0
73
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
154
2
zookeeper실행시 오류가 발생합니다.
0
268
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
163
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
225
2
주키퍼 없이 사용 문의 드립니다.
0
303
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2