inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

카프카 완벽 가이드 - 커넥트(Connect) 편

connector update 방법

831

techsupport2

작성한 질문수 6

0

안녕하세요 전에도 질문을 올렸었는데 답변 주신 대로 했더니 잘 해결 되었습니다.감사합니다.

전에 올린 질문 중 답변해주신 내용이 oracle connector는 하나의 source connector만 생성하면 된다고 하셨는데요.

하나의 source connector로 구성 후 테이블을 추가하려고 하는데 추가할 경우에는

connector를 다시 생성해야 할까요?

아래의 명령어로 update 후 재기동을 해봤으나 추가한 테이블에 대한 topic이 생성 되지 않습니다.

http PUT http://localhost:8083/connectors/ora_source_connector/config @ora_source_connector_test.json

 

http POST http://localhost:8083/connectors/ora_source_connector/restart

 

json 내용

{

"connector.class" : "io.debezium.connector.oracle.OracleConnector",

"db_type":"oracle",

"tasks.max" : "1",

"database.server.name" : "source_connector_01",

"database.user" : "xx",

"database.password" : "xx",

"database.url": "jdbc:oracle:thin:@xx",

"database.dbname" : "xx",

"database.out.server.name":"ora_source_out",

"schema.history.internal.kafka.bootstrap.servers" : "xx:9092",

"schema.history.internal.kafka.topic": "ora_source_history",

"schema.include.list": "xx",

"include.schema.changes": "true",

"database.connection.adapter": "logminer",

"topic.prefix": "ORA_SOURCE",

"schema.include.list": "xx",

"table.include.list":"xx.AF_CLAIM , xx.AF_CS_MGMT , xx.AF_BRAND",

"include.schema.changes": "true",

"auto.evolve": "true",

"time.precision.mode": "connect",

"key.converter": "io.confluent.connect.avro.AvroConverter",

"value.converter": "io.confluent.connect.avro.AvroConverter",

"key.converter.schema.registry.url": "http://localhost:8081",

"value.converter.schema.registry.url": "http://localhost:8081",

"snapshot.mode" : "initial",

"tombstones.on.delete": "true",

"transforms": "rename_topic",

"transforms.rename_topic.type" : "org.apache.kafka.connect.transforms.RegexRouter",

"transforms.rename_topic.regex" : "ORA_SOURCE(.*)",

"transforms.rename_topic.replacement" : "source_$1",

"transforms": "unwrap",

"transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState",

"transforms.unwrap.drop.tombstones": "false"

}

 

 

 

kafka 데이터-엔지니어링

답변 1

0

권 철민

안녕하십니까,

이전 문제가 해결이 되었다니 다행이군요.

json config에서 아래 table.include.list에 신규 테이블을 추가하고,

"table.include.list":"xx.AF_CLAIM , xx.AF_CS_MGMT , xx.AF_BRAND",

기존 connector를 삭제하고 새롭게 다시 신규 테이블이 추가된 connector를 등록해서 생성해 보시면 될 것 같습니다.

 

감사합니다.

계속 csv파일을 폴더로 인식하는 중입니다.

0

69

2

cdc failover

0

70

2

avro plugin에 안보이는거 같아요

0

70

2

zookeeper가 실행이 안되요

0

80

3

Debezium CDC Source Connector 이벤트 메시지

0

87

2

재 질문! 다른 connector가 동일 토픽 사용

0

68

2

메시지 발행이 안 됩니다.

0

78

2

디비지움 오프셋 리셋

0

96

2

mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.

0

72

3

io.debezium.connector.mysql.MySqlConnector 질문

0

68

2

Debezium 이벤트 메시지 발행 시 성공여부

0

82

2

connect 구동 오류

0

99

3

CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

0

122

2

GCSSinkconnector

0

66

1

debezium source connector에서 `poll.interval.ms` 파라미터

0

145

2

자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.

0

214

1

table.name.format에 관하여..

0

197

2

binlog와 offset 관련 추가 질문드립니다

0

152

1

Debezium cdc source for MSSQL-Server [등록오류]

0

193

2

http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.

0

192

2

안녕하세요 sink connector 생성 config 관련 질문입니다.

0

165

2

수강환경 VirtualBox -> Docker

0

232

2

일반적인 예시들이 궁금해서 질문 남깁니다.

1

149

2

debezium connector schema 찾지 못하는 오류

0

437

2