inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

카프카 완벽 가이드 - 커넥트(Connect) 편

JDBC Source와 Sink Connector 연동 실습 - Insert DML 처리

Git 코드에 ', '빠져 있습니다.

해결된 질문

356

좋은 낙지

작성한 질문수 7

1

https://github.com/chulminkw/KafkaConnect/blob/723d598394241434f424184998176c903c0967f9/%EC%8B%A4%EC%8A%B5%EC%88%98%ED%96%89/JDBC%20Sink%20Connector%20%EC%8B%A4%EC%8A%B5.md

Source 테이블과 연계하여 Sink 테이블에 데이터 연동 테스트

{
    "name": "mysql_jdbc_sink_products",
    "config": {
        "connector.class":"io.confluent.connect.jdbc.JdbcSinkConnector",
        "tasks.max": "1",
        "topics": "mysql_jdbc_products",
        "connection.url": "jdbc:mysql://localhost:3306/om_sink",
        "connection.user": "connect_dev",
        "connection.password": "connect_dev",
        "insert.mode": "upsert",
        "pk.mode": "record_key"
        "pk.fields": "product_id",
        "delete.enabled": "true",
        "table.name.format": "om_sink.products_sink",
        "key.converter": "org.apache.kafka.connect.json.JsonConverter",
        "value.converter": "org.apache.kafka.connect.json.JsonConverter"
    }
}

 

실습하다가 발견해서 제보드립니다.

해당부분 Git에 "pk.mode": "record_key" 다음에 쉼표가 없어 register_connector 가 작동되지 않았었습니다.

쉼표를 추가하니 해결되었습니다 ㅎㅎ

 

kafka 데이터-엔지니어링

답변 1

1

권 철민

안녕하십니까,

앗, 콤마가 실수로 빠졌나 봅니다.

다시 git update 했습니다.

좋은 정보 감사합니다.

계속 csv파일을 폴더로 인식하는 중입니다.

0

69

2

cdc failover

0

70

2

avro plugin에 안보이는거 같아요

0

70

2

zookeeper가 실행이 안되요

0

80

3

Debezium CDC Source Connector 이벤트 메시지

0

87

2

재 질문! 다른 connector가 동일 토픽 사용

0

68

2

메시지 발행이 안 됩니다.

0

78

2

디비지움 오프셋 리셋

0

96

2

mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.

0

72

3

io.debezium.connector.mysql.MySqlConnector 질문

0

68

2

Debezium 이벤트 메시지 발행 시 성공여부

0

82

2

connect 구동 오류

0

99

3

CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

0

122

2

GCSSinkconnector

0

66

1

debezium source connector에서 `poll.interval.ms` 파라미터

0

145

2

자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.

0

214

1

table.name.format에 관하여..

0

197

2

binlog와 offset 관련 추가 질문드립니다

0

152

1

Debezium cdc source for MSSQL-Server [등록오류]

0

193

2

http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.

0

192

2

안녕하세요 sink connector 생성 config 관련 질문입니다.

0

165

2

수강환경 VirtualBox -> Docker

0

232

2

일반적인 예시들이 궁금해서 질문 남깁니다.

1

149

2

debezium connector schema 찾지 못하는 오류

0

437

2