inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

카프카 완벽 가이드 - 커넥트(Connect) 편

Incrementing 모드로 JDBC Source Connector 생성하기

Incrementing 모드로 JDBC Source Connector 생성하기 질문

해결된 질문

541

좋은 낙지

작성한 질문수 7

0

고생하십니다.

질문은 해당 강의 진행중에 에러가 발생하여 질문드립니다.

 

vi ~/connector_configs/mysql_jdbc_om_source_00.json

을 통한 사전 설정값

{
    "name": "mysql_jdbc_om_source_00",
    "config": {
        "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
        "tasks.max": "1",
        "connection.url": "jdbc:mysql://localhost:3306/om",
        "connection.user": "connect_dev",
        "connection.password": "connect_dev",
        "topic.prefix": "mysql_om_",
        "topic.creation.default.replication.factor": 1,
        "topic.creation.default.partitions": 1,
        "catalog.pattern": "om",  
        "table.whitelist": "om.customers",
        "poll.interval.ms": 10000,
        "mode": "incrementing",
        "incrementing.column.name": "customer_id"
    }
}

 

 

명령실행값

http POST http://localhost:8083/connectors @mysql_jdbc_om_source_00.json

명령 결과값

HTTP/1.1 201 Created
Content-Length: 566
Content-Type: application/json
Date: Tue, 25 Apr 2023 01:47:21 GMT
Location: http://localhost:8083/connectors/mysql_jdbc_om_source_00
Server: Jetty(9.4.44.v20210927)

{
    "config": {
        "catalog.pattern": "om",
        "connection.password": "connect_dev",
        "connection.url": "jdbc:mysql://localhost:3306/om",
        "connection.user": "connect_dev",
        "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
        "incrementing.column.name": "customer_id",
        "mode": "incrementing",
        "name": "mysql_jdbc_om_source_00",
        "poll.interval.ms": "10000",
        "table.whitelist": "om.customers",
        "tasks.max": "1",
        "topic.creation.default.partitions": "1",
        "topic.creation.default.replication.factor": "1",
        "topic.prefix": "mysql_om_"
    },
    "name": "mysql_jdbc_om_source_00",
    "tasks": [],
    "type": "source"
}

이렇게 post를 통해서 올렸을 때, CONNECT쪽에서 아래와 같은 문제가 계속 발생하고 있습니다.

 

Either no records were produced by the task since the last offset commit, or every record has been filtered out by a transformation or dropped due to transformation or conversion errors. (org.apache.kafka.connect.runtime.WorkerSourceTask:484)

connect에 에러가 발생해 일단 강의 진행을 멈춘 상태입니다. 제가 혹시 놓친 부분이 있을지 질문드립니다.

 

kafka 데이터-엔지니어링

답변 1

0

권 철민

안녕하십니까,

강의 그대로 따라 하신건가요? 아님 변경을 약간이라도 하신 부분이 있는지 먼저 확인 부탁드립니다.

감사합니다.

0

좋은 낙지

안녕하세요. 수업의 경우 계정이름이 min이 아닌 kms인 차이만 있습니다.
그 외에는 강의와 동일하게 진행하였습니다.
영상 5:43초쯤 진행하는 POST 명령어 실행시 connector 콘솔에서 Either no records 에러가 주기적으로(10초쯤?) 발생하고 있습니다.

1

권 철민

적어주신 내용은 오류가 아닙니다. 로그를 잘 보시면 INFO 라고 되어 있습니다.

JDBC Source Connector에서 주기적으로 DB를 뒤지는데, 현재 신규 데이터가 입력되지 않아서 발생하는 메시지 입니다. 정상적으로 기동중입니다. 계속 강의 들으시면서 실습하시면 될것 같습니다.

0

좋은 낙지

감사합니다. 정상적인 상황이였군요.
계속 실습해보겠습니다.
답변달아주셔서 감사합니다.

계속 csv파일을 폴더로 인식하는 중입니다.

0

69

2

cdc failover

0

70

2

avro plugin에 안보이는거 같아요

0

70

2

zookeeper가 실행이 안되요

0

80

3

Debezium CDC Source Connector 이벤트 메시지

0

87

2

재 질문! 다른 connector가 동일 토픽 사용

0

68

2

메시지 발행이 안 됩니다.

0

78

2

디비지움 오프셋 리셋

0

96

2

mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.

0

72

3

io.debezium.connector.mysql.MySqlConnector 질문

0

68

2

Debezium 이벤트 메시지 발행 시 성공여부

0

82

2

connect 구동 오류

0

99

3

CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

0

122

2

GCSSinkconnector

0

66

1

debezium source connector에서 `poll.interval.ms` 파라미터

0

145

2

자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.

0

214

1

table.name.format에 관하여..

0

197

2

binlog와 offset 관련 추가 질문드립니다

0

152

1

Debezium cdc source for MSSQL-Server [등록오류]

0

193

2

http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.

0

192

2

안녕하세요 sink connector 생성 config 관련 질문입니다.

0

165

2

수강환경 VirtualBox -> Docker

0

232

2

일반적인 예시들이 궁금해서 질문 남깁니다.

1

149

2

debezium connector schema 찾지 못하는 오류

0

437

2