강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

화요님의 프로필 이미지
화요

작성한 질문수

Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)

Kafka Sink Connect 사용

my_topic_users 데이터 중복저장 문제

작성

·

374

0

동일한 데이터가 중복되서 저장이 되네요. 어떤 이유인지 알수 있을까요..? kafka connector는 sink와 source 두개 뿐인 것을 확인하였고 토픽도 my_topic_users한개 존재합니다.

답변 1

0

Dowon Lee님의 프로필 이미지
Dowon Lee
지식공유자

안녕하세요, 이도원입니다. 

올려주신 이미지만으로 원인을 확인하기가 어렵습니다. 정확한 동일한 시간에 2개의 데이터가 생성되는 것으로 보아 어딘가에서  2개의 커넥터(이건 이미 없다고 확인)나 스크립트의 오류일 수 있을 것 같습니다. 

작업하신 Source, Sink Connector의 스크립트를 올려 주시면, 제쪽에서 시현해 보도록 하겠습니다. 게시판에 올리기 번거로우시면 스크립트 파일을 아래 메일로 전달 부탁드립니다.

edowon0623@gmail.com

감사합니다. 

화요님의 프로필 이미지
화요
질문자

다음날 해보니 원인을 잘모르겠지만 잘 되네요..

우선 users의 데이터를 모두 날리고, my_topic_users테이블을 삭제하고 다시 insert쳐보니까 1개씩들어갑니다... ㅎㅎ 뭐가 꼬인지는 모르겠지만... 이럴때가 제일 난감하네요 ㅎㅎ

답변감사드립니다 오늘 좋은 하루 되세요!

화요님의 프로필 이미지
화요

작성한 질문수

질문하기