oracle source connector 관련 문의
안녕하세요 강사님
cdc 관련 적용을 하다가 질문이 있어서 글을 남기게 되었습니다.
오라클 source connector를 생성하려고 하는데요.
아래와 같은 설정을 하였는데 DB 전체 스키마에 대해서 스냅샷을 진행하여 시간이 너무 오래 걸리는데요. 혹시 제가 빠뜨린 설정이 있을까요?
오라클의 경우는
전체 스키마는 5개정도이지만 실제 사용하고자 하는 스키마는 2개에 포함된 테이블 몇 개 정도입니다.
{
"name": "v2_ora_source_connector_20230516_01",
"config" : {
"connector.class" : "io.debezium.connector.oracle.OracleConnector",
"db_type":"oracle",
"tasks.max" : "1",
"database.server.name" : "v2_source_connector_20230516_01",
"database.user" : "TEST11",
"database.password" : "TEST11",
"database.url": "jdbc:oracle:thin:@10.74.XXX.XXXX:1521:XXXXX",
"database.dbname" : "SIDV_V2_20230516_01",
"database.out.server.name":"v2_ora_source_out_20230516_01",
"schema.history.internal.kafka.bootstrap.servers" : "10.74.XXX.XXX:9092",
"schema.history.internal.kafka.topic": "ora_source_history_20230516_01",
"schema.include.list": "TEST11 , TEST22",
"include.schema.changes": "true",
"database.connection.adapter": "logminer",
"topic.prefix": "V2_ORA_SOURCE",
"table.include.list":"TEST11.GD_CDC_WORK_REQ_MGMT , TEST11.VD_CDC_VEND , TEST22.AM_CDC_ORDER , TEST22.AM_CDC_CLAIM , TEST22.AM_CDC_COUNSEL" ,
"include.schema.changes": "true",
"auto.evolve": "true",
"time.precision.mode": "connect",
"key.converter": "io.confluent.connect.avro.AvroConverter",
"value.converter": "io.confluent.connect.avro.AvroConverter",
"key.converter.schema.registry.url": "http://localhost:8081",
"value.converter.schema.registry.url": "http://localhost:8081",
"snapshot.mode" : "initial",
"tombstones.on.delete": "true",
"transforms": "rename_topic",
"transforms.rename_topic.type" : "org.apache.kafka.connect.transforms.RegexRouter",
"transforms.rename_topic.regex" : "V2_ORA_SOURCE(.*)",
"transforms.rename_topic.replacement" : "v2_source_$1",
"transforms": "unwrap",
"transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState",
"transforms.unwrap.drop.tombstones": "false"
}
}
답변 1
0
안녕하십니까,
오라클 연동은 안해봐서 정확힌 모르겠지만,
전체 연동하려는 테이블은 5개인데, DB내의 모든 테이블들을 다 스냅샷을 시도해서 오래 걸리는 건가요?
음.. 문서대로라면 snapshot_mode가 initial이면 5개 테이블만 스냅샷을 시도해야 되는데, 그게 안되나 보군요.
꼭 초기 스냅샷을 실시간으로 생성해야 하는 상황이 아니라면 5개 테이블에 대해서 export dump를 받은 뒤에 target db로 migration 한 뒤에 snapshot_mode를 schema_only로 설정한 뒤 connector를 기동해 보시면 어떨까 싶습니다.
감사합니다.
계속 csv파일을 폴더로 인식하는 중입니다.
0
69
2
cdc failover
0
70
2
avro plugin에 안보이는거 같아요
0
70
2
zookeeper가 실행이 안되요
0
79
3
Debezium CDC Source Connector 이벤트 메시지
0
86
2
재 질문! 다른 connector가 동일 토픽 사용
0
68
2
메시지 발행이 안 됩니다.
0
78
2
디비지움 오프셋 리셋
0
96
2
mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.
0
72
3
io.debezium.connector.mysql.MySqlConnector 질문
0
68
2
Debezium 이벤트 메시지 발행 시 성공여부
0
82
2
connect 구동 오류
0
99
3
CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.
0
122
2
GCSSinkconnector
0
66
1
debezium source connector에서 `poll.interval.ms` 파라미터
0
145
2
자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.
0
214
1
table.name.format에 관하여..
0
197
2
binlog와 offset 관련 추가 질문드립니다
0
152
1
Debezium cdc source for MSSQL-Server [등록오류]
0
192
2
http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.
0
192
2
안녕하세요 sink connector 생성 config 관련 질문입니다.
0
165
2
수강환경 VirtualBox -> Docker
0
231
2
일반적인 예시들이 궁금해서 질문 남깁니다.
1
148
2
debezium connector schema 찾지 못하는 오류
0
436
2





