kafka sink connector 관련 질문드립니다
468
작성한 질문수 3
안녕하세요, 도원님.
좋은 강의 덕분에 MSA 관련 지식이 많이 느는 것 같아 감사합니다.
다름이 아니라, kafka sink connector 쪽 관련해서 문의드리고 싶은 내용이 있어 질문을 올리게 되었습니다.
confluent 의 kafka sink connector 공식 문서를 봤을 때, sink connector 는 at least once delivery 를 보장한다고 하는데, 만약 그런 경우가 발생하면 실제로 같은 데이터가 2번 적재되는 현상이 생길 거 같습니다.
이런 경우를 위해 따로 처리를 하는 로직을 넣어야하는지, 아니면 그냥 sink connector 내부에서 밀어넣었는데 에러가 나고 이를 넘기는 방향으로 처리를 하는지 여쭤보고 싶습니다.
답변 1
2
안녕하세요, 이도원입니다.
kafka sink connector를 생성하실 때, insert.mode를 이용하여 insert를 할 지 update를 할 지 선택할 수 있습니다.
https://docs.confluent.io/kafka-connect-jdbc/current/sink-connector/sink_config_options.html
update를 하실 때의 기준의 기존 데이터의 저장 된 시간과 차이가 있을 경우에 업데이트 하게 되는데, 이를 위해 update date 컬럼을 같이 지정해 주시면 됩니다.
감사합니다.
kafka 업데이트 강의 듣고 시포요
0
112
2
강의 교안
0
102
2
마이크로서비스간 통신 시, 인증 처리
0
112
2
api gateway 에서 인증 처리
0
76
1
섹션 19 질문드립니다
0
83
2
강의 자료 업데이트
0
103
2
부하분산 강의 섹션
0
65
1
강의자료는 어디에서?
0
97
2
강의 자료는 어디서 다운 받을 수 있나요?
0
130
2
전체 사용자 조회시 오류
0
65
1
혹시 pk 외 별도의 id 를 부여한 이유가 있을까요 ??
0
118
2
학습 방향
0
105
2
카프카 커넥터 사용 목적 문의
0
90
2
kafka 강의
0
117
2
서비스 디스커버리 종류
0
90
2
강의 자료에 대해서 궁금해요
0
125
2
GlobalFilter, LoggingFilter가 동작하지 않습니다.
0
94
2
Kafka Source Connect 버전 에러
0
95
2
소스커넥터는 사용안한 거 맞죠?
0
84
2
강의자료 업데이트 문의
0
99
2
강의에서 BCryptPasswordEncoder 에 역할(5-2)
0
63
1
강의 업데이트 계획이 궁금합니다.
0
120
2
MSA 애플리케이션에 Spring Web과 Spring Data JPA를 사용하는 것이 바람직한지 궁금합니다. (MSA 설계와 관련된 질문입니다)
0
168
2
어떤 것이 업데이트 된 건가요?
0
169
2