inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

카프카 완벽 가이드 - 커넥트(Connect) 편

Sink Connector 실습을 위한 MySQL 구성

timestamp 방식에서 table index 필수 여부

414

이무

작성한 질문수 58

0

안녕하세요,

 

각 테이블 생성 시 timestamp 칼럼에 대해 index를 생성해 주셨는데요, 이거는 필수로 지정해야 하는건가요?

 

 

kafka 데이터-엔지니어링

답변 1

0

권 철민

필수라고 Kafka Connector에 명시 되어 있는 건 아니지만, Sink Connector에서 데이터 입력 시에 해당 timestamp 컬럼을 where 조건으로 조회하면서 신규 데이터/업데이트 데이터를 판별하여 데이터로 입력합니다. 이때 해당 컬럼에 index가 안걸려 있으면 전체 테이블 scan을 하기 때문에 데이터가 많이 있는 테이블의 경우 수행 속도가 느려지므로 index를 걸어주는 게 좋습니다.

이후 강의에서 제가 해당 내용으로 설명 드릴 겁니다.

감사합니다.

계속 csv파일을 폴더로 인식하는 중입니다.

0

68

2

cdc failover

0

70

2

avro plugin에 안보이는거 같아요

0

70

2

zookeeper가 실행이 안되요

0

76

3

Debezium CDC Source Connector 이벤트 메시지

0

86

2

재 질문! 다른 connector가 동일 토픽 사용

0

66

2

메시지 발행이 안 됩니다.

0

77

2

디비지움 오프셋 리셋

0

96

2

mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.

0

70

3

io.debezium.connector.mysql.MySqlConnector 질문

0

67

2

Debezium 이벤트 메시지 발행 시 성공여부

0

82

2

connect 구동 오류

0

98

3

CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

0

121

2

GCSSinkconnector

0

66

1

debezium source connector에서 `poll.interval.ms` 파라미터

0

144

2

자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.

0

213

1

table.name.format에 관하여..

0

196

2

binlog와 offset 관련 추가 질문드립니다

0

150

1

Debezium cdc source for MSSQL-Server [등록오류]

0

192

2

http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.

0

190

2

안녕하세요 sink connector 생성 config 관련 질문입니다.

0

165

2

수강환경 VirtualBox -> Docker

0

229

2

일반적인 예시들이 궁금해서 질문 남깁니다.

1

148

2

debezium connector schema 찾지 못하는 오류

0

435

2