inflearn logo
강의

講義

知識共有

カフカパーフェクトガイド - コネクト編

AfterメッセージをJDBC Sink ConnectorでDB入力

avro plugin에 안보이는거 같아요

68

otteu

投稿した質問数 11

0

안녕하세요 개발자님

 

AvroConverter 관련 문의 드립니다.

Failed to start task mysql_cdc_solid_avro_payment_source_02-0 (org.apache.kafka.connect.runtime.Worker:656)

java.lang.NoClassDefFoundError: io/confluent/kafka/serializers/AbstractKafkaSchemaSerDeConfig

필요한거 설치 한거 같은데 노친 부분이 무엇일까여?


114956 -rw-rw-r-- 1 root root 580K Oct 21 2021 avro-1.11.0.jar

114955 -rw-rw-r-- 1 root root 17K May 3 2023 common-utils-7.4.0.jar

114869 -rwxr-xr-x 1 root root 8.7M Sep 14 17:26 confluentinc-kafka-connect-avro-converter-8.0.0.zip

114992 drwxr-xr-x 6 root root 4.0K Sep 15 17:02 confluentinc-kafka-connect-jdbc-10.8.4

114947 -rwxr-xr-x 1 root root 25M Sep 14 17:42 confluentinc-kafka-connect-jdbc-10.8.4.zip

115040 drwxr-xr-x 2 root root 4.0K Sep 15 17:03 debezium-connector-mysql

114948 -rwxr-xr-x 1 root root 16M Sep 14 17:03 debezium-connector-mysql-1.9.7.Final-plugin.tar.gz

114954 -rw-rw-r-- 1 root root 36K May 3 2023 kafka-avro-serializer-7.4.0.jar

114951 -rw-r--r-- 1 root root 36K May 3 2023 kafka-avro-serializer-7.4.0.jar.1

97327 -rw-r--r-- 1 root root 36K May 3 2023 kafka-avro-serializer-7.4.0.jar.2

98927 -rw-rw-r-- 1 root root 8.8K May 3 2023 kafka-connect-avro-converter-7.4.0.jar

98495 -rw-rw-r-- 1 root root 263K May 3 2023 kafka-schema-registry-client-7.4.0.jar

114949 -rw-rw-r-- 1 root root 2.5M Sep 14 17:37 mysql-connector-java-8.0.29.jar

kafka 데이터-엔지니어링

回答 2

0

dooleyz3525

안녕하십니까,

먼저 VM 기반에서 강의대로 환경을 설정하신 건지요? 아님 별도의 환경에서 수행을 하고 계신지 확인 부탁드립니다

감사합니다.

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. 김동선님께서 경험하신 AvroConverter 관련 문제는 여러 가능성이 있을 수 있습니다. 이 문제는 주로 Kafka Connect의 플러그인 경로 설정 오류나 플러그인의 JAR 파일 위치 등의 문제로 발생할 수 있습니다.

Avro 플러그인이 보이지 않는 문제 해결에 도움이 될 수 있는 몇 가지 고려 사항은 다음과 같습니다:

  1. 플러그인 경로 설정 확인:

    • connect-distributed.properties 파일에서 plugin.path 설정이 올바르게 지정되어 있는지 확인하세요. JAR 파일이 이 경로에 정확히 위치해 있는지 점검해야 합니다.
    • 경로를 재확인하고, JAR 파일이 해당 경로에 존재하는지 확인하고, 작업자를 다시 시작해보세요.
  2. 플러그인 파일 배포 및 위치 확인:

    • 플러그인의 JAR 파일이 plugin.path의 지정된 디렉토리에 존재하는 지를 재확인 하세요.
    • JAR 파일 이름에 오타가 없는지, 파일이 정확하게 업로드 되었는지를 확인하세요.
  3. Docker 환경의 특성:

    • 도커 환경에서는 파일 권한 및 경로 설정이 호스트와 컨테이너 간에 맞지 않을 수 있습니다. 컨테이너 내부에서의 파일 경로를 재확인해보세요.
  4. Connect 워커 로그 확인:

    • Connect 작업자를 재가동 후, 로그 파일을 확인하세요. 플러그인이 로드되지 않는 이유나 오류 메시지가 기록되어 있을 수 있습니다.

이 외에도 유사한 문제가 논의된 기존 페이지에서 추가적으로 참고할 수 있습니다:
- “http localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.”: 이 질문에서는 플러그인 관련 URL에 대한 설정 및 초기화를 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

계속 csv파일을 폴더로 인식하는 중입니다.

0

65

2

cdc failover

0

69

2

zookeeper가 실행이 안되요

0

73

3

Debezium CDC Source Connector 이벤트 메시지

0

82

2

재 질문! 다른 connector가 동일 토픽 사용

0

63

2

메시지 발행이 안 됩니다.

0

75

2

디비지움 오프셋 리셋

0

94

2

mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.

0

69

3

io.debezium.connector.mysql.MySqlConnector 질문

0

67

2

Debezium 이벤트 메시지 발행 시 성공여부

0

80

2

connect 구동 오류

0

97

3

CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

0

121

2

GCSSinkconnector

0

64

1

debezium source connector에서 `poll.interval.ms` 파라미터

0

142

2

자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.

0

212

1

table.name.format에 관하여..

0

196

2

binlog와 offset 관련 추가 질문드립니다

0

149

1

Debezium cdc source for MSSQL-Server [등록오류]

0

190

2

http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.

0

187

2

안녕하세요 sink connector 생성 config 관련 질문입니다.

0

159

2

수강환경 VirtualBox -> Docker

0

223

2

일반적인 예시들이 궁금해서 질문 남깁니다.

1

145

2

debezium connector schema 찾지 못하는 오류

0

426

2

offset 커밋 관련 질문

0

159

1