inflearn logo
강의

講義

知識共有

カフカパーフェクトガイド - コネクト編

JDBC Sink Connector 生成 実習 - 02

안녕하세요 sink connector 생성 config 관련 질문입니다.

159

hyeonsuck han

投稿した質問数 1

0

현재 JDBC Sink Connector 생성 실습중입니다. 실습환경과 버전차이가 있어서 그런건지 깃허브에 올려주신 config로 생성하는경우 mysql syntax에러가 발생하면서 오류발생으로 작동을 안합니다. 검색 결과 각 config에서 "table.name.format": "om_sink.테이블명"->"테이블명"만 작성해서 스키마 특정을 안하면 일단 동작은 하는걸 확인했습니다. 해당 사항으로 바뀌는 부분이 있을까요? 강의시작으로부터 2년이라는시간이 지나서 jdbc 커넥터에 변경사항이 발생한걸까요? 감사합니다. + 추가로 현재 7장5강 cdc source connector 실습중인데 sink connector에서 동일한 오류가 발생하여 table.name.format의 "oc_sink.order_items_sink"에서 "oc_sink"를 삭제하였는데 connection.url에 oc_sink를 지정해 주었으니 특별히 문제가 없을지요? -> 백틱(`) 으로 "`oc_sink`.`order_itmes_sink`" 이런식으로묶어주니까 동작하는 것 확인했습니다. 버전이나 어딘가의 설정 차이인것 같네요. 혹시 저같이 오류나셔서 곤란한 분 있을까 해서 남겨놓습니다.

kafka 데이터-엔지니어링

回答 2

0

dooleyz3525

안녕하십니까,

실습 환경과 버전을 맞춰 주시면 문제 없이 잘 동작할 거라 판단됩니다만, 지금 다른 버전을 사용하고 계시다면 실습 환경과 버전을 맞춰주시면 좋을 것 같습니다.

실습 환경과 버전이 같은데, 오류가 발생한다면, 사용하시는 config를 여기에 다시 올려주시면 좋을 것 같습니다.

감사합니다.

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다.

hyeonsuck han님의 JDBC Sink Connector 설정에 관한 질문에 대한 답변을 드립니다. 질문하신 내용에서 언급하신 mysql syntax 오류는 주로 스키마와 테이블명을 지정할 때 발생할 수 있는 문제입니다. JDBC Sink Connector 설정에서 스키마를 지정하지 않거나 잘못 지정한 경우 이러한 오류가 발생할 수 있습니다.

관련 문제를 다룬 비슷한 질문과 답변을 찾아보았습니다. 아래 링크는 해당 문제와 유사한 사례를 다루고 있어 도움이 될 수 있습니다:

  • Git 코드에 ‘,’, ‘빠져 있습니다. - 이 질문에서는 JDBC 커넥터 설정 파일의 JSON 구문 오류와 관련된 문제를 논의하고 있으며, JSON 파일 내 구문 오류가 원인이 될 수 있다는 점을 지적하고 있습니다.

질문자님께서 겪고 있는 문제는 여러 가지 원인이 있을 수 있습니다. 설정 파일 내에서 스키마 및 테이블 이름을 정확히 지정하는 것이 중요하며, 최신 버전의 JDBC 커넥터에서는 설정 방식이 변경되었을 가능성도 있습니다. 아래 몇 가지 확인 사항을 제안드립니다:

  1. 스키마 및 테이블 명 확인: 설정 파일에서 "om_sink.테이블명" 형식으로 정확히 지정되어 있는지 확인해주세요.
  2. JDBC 커넥터 버전 확인: 사용 중인 JDBC 커넥터의 버전을 확인하고, 해당 버전의 문서를 참조하여 변경 사항이 있는지 확인합니다.
  3. JSON 파일 구문 오류 확인: JSON 파일 내 구문 오류가 있는지를 확인합니다. 쉼표나 중괄호의 유무를 체크하세요.

동일한 설정으로도 특정 환경이나 버전 차이에 따라 오류가 발생할 수 있습니다. 문제가 지속될 경우, JSON 파일의 각 항목을 개별적으로 삭제/수정하며 어디에서 문제가 발생하는지를 파악하는 것도 한 방법입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

계속 csv파일을 폴더로 인식하는 중입니다.

0

65

2

cdc failover

0

69

2

avro plugin에 안보이는거 같아요

0

68

2

zookeeper가 실행이 안되요

0

73

3

Debezium CDC Source Connector 이벤트 메시지

0

82

2

재 질문! 다른 connector가 동일 토픽 사용

0

63

2

메시지 발행이 안 됩니다.

0

75

2

디비지움 오프셋 리셋

0

94

2

mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.

0

69

3

io.debezium.connector.mysql.MySqlConnector 질문

0

67

2

Debezium 이벤트 메시지 발행 시 성공여부

0

80

2

connect 구동 오류

0

97

3

CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

0

121

2

GCSSinkconnector

0

64

1

debezium source connector에서 `poll.interval.ms` 파라미터

0

142

2

자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.

0

212

1

table.name.format에 관하여..

0

196

2

binlog와 offset 관련 추가 질문드립니다

0

149

1

Debezium cdc source for MSSQL-Server [등록오류]

0

190

2

http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.

0

187

2

수강환경 VirtualBox -> Docker

0

223

2

일반적인 예시들이 궁금해서 질문 남깁니다.

1

145

2

debezium connector schema 찾지 못하는 오류

0

426

2

offset 커밋 관련 질문

0

159

1