kafka sink connector 관련 질문드립니다
473
작성한 질문수 3
안녕하세요, 도원님.
좋은 강의 덕분에 MSA 관련 지식이 많이 느는 것 같아 감사합니다.
다름이 아니라, kafka sink connector 쪽 관련해서 문의드리고 싶은 내용이 있어 질문을 올리게 되었습니다.
confluent 의 kafka sink connector 공식 문서를 봤을 때, sink connector 는 at least once delivery 를 보장한다고 하는데, 만약 그런 경우가 발생하면 실제로 같은 데이터가 2번 적재되는 현상이 생길 거 같습니다.
이런 경우를 위해 따로 처리를 하는 로직을 넣어야하는지, 아니면 그냥 sink connector 내부에서 밀어넣었는데 에러가 나고 이를 넘기는 방향으로 처리를 하는지 여쭤보고 싶습니다.
답변 1
2
안녕하세요, 이도원입니다.
kafka sink connector를 생성하실 때, insert.mode를 이용하여 insert를 할 지 update를 할 지 선택할 수 있습니다.
https://docs.confluent.io/kafka-connect-jdbc/current/sink-connector/sink_config_options.html
update를 하실 때의 기준의 기존 데이터의 저장 된 시간과 차이가 있을 경우에 업데이트 하게 되는데, 이를 위해 update date 컬럼을 같이 지정해 주시면 됩니다.
감사합니다.
Inner class로 Config를 지정하는 이유
0
44
1
service-discovery 프로세스 가동 이유
0
60
1
rabbitmq에 configservice 연결에 대해 질문있습니다.
0
82
1
kafka 업데이트 강의 듣고 시포요
0
168
2
강의 교안
0
145
2
마이크로서비스간 통신 시, 인증 처리
0
157
2
api gateway 에서 인증 처리
0
103
1
섹션 19 질문드립니다
0
120
2
강의 자료 업데이트
0
137
2
부하분산 강의 섹션
0
93
1
강의자료는 어디에서?
0
127
2
강의 자료는 어디서 다운 받을 수 있나요?
0
170
2
전체 사용자 조회시 오류
0
84
1
혹시 pk 외 별도의 id 를 부여한 이유가 있을까요 ??
0
166
2
학습 방향
0
135
2
카프카 커넥터 사용 목적 문의
0
131
2
kafka 강의
0
154
2
서비스 디스커버리 종류
0
125
2
강의 자료에 대해서 궁금해요
0
166
2
GlobalFilter, LoggingFilter가 동작하지 않습니다.
0
130
2
Kafka Source Connect 버전 에러
0
134
2
소스커넥터는 사용안한 거 맞죠?
0
127
2
강의자료 업데이트 문의
0
122
2
강의에서 BCryptPasswordEncoder 에 역할(5-2)
0
87
1