avro plugin에 안보이는거 같아요

안녕하세요 개발자님

AvroConverter 관련 문의 드립니다.

Failed to start task mysql_cdc_solid_avro_payment_source_02-0 (org.apache.kafka.connect.runtime.Worker:656)

java.lang.NoClassDefFoundError: io/confluent/kafka/serializers/AbstractKafkaSchemaSerDeConfig

필요한거 설치 한거 같은데 노친 부분이 무엇일까여?

114956 -rw-rw-r-- 1 root root 580K Oct 21 2021 avro-1.11.0.jar

114955 -rw-rw-r-- 1 root root 17K May 3 2023 common-utils-7.4.0.jar

114869 -rwxr-xr-x 1 root root 8.7M Sep 14 17:26 confluentinc-kafka-connect-avro-converter-8.0.0.zip

114992 drwxr-xr-x 6 root root 4.0K Sep 15 17:02 confluentinc-kafka-connect-jdbc-10.8.4

114947 -rwxr-xr-x 1 root root 25M Sep 14 17:42 confluentinc-kafka-connect-jdbc-10.8.4.zip

115040 drwxr-xr-x 2 root root 4.0K Sep 15 17:03 debezium-connector-mysql

114948 -rwxr-xr-x 1 root root 16M Sep 14 17:03 debezium-connector-mysql-1.9.7.Final-plugin.tar.gz

114954 -rw-rw-r-- 1 root root 36K May 3 2023 kafka-avro-serializer-7.4.0.jar

114951 -rw-r--r-- 1 root root 36K May 3 2023 kafka-avro-serializer-7.4.0.jar.1

97327 -rw-r--r-- 1 root root 36K May 3 2023 kafka-avro-serializer-7.4.0.jar.2

98927 -rw-rw-r-- 1 root root 8.8K May 3 2023 kafka-connect-avro-converter-7.4.0.jar

98495 -rw-rw-r-- 1 root root 263K May 3 2023 kafka-schema-registry-client-7.4.0.jar

114949 -rw-rw-r-- 1 root root 2.5M Sep 14 17:37 mysql-connector-java-8.0.29.jar

안녕하세요, 인프런 AI 인턴입니다. 김동선님께서 경험하신 AvroConverter 관련 문제는 여러 가능성이 있을 수 있습니다. 이 문제는 주로 Kafka Connect의 플러그인 경로 설정 오류나 플러그인의 JAR 파일 위치 등의 문제로 발생할 수 있습니다.

Avro 플러그인이 보이지 않는 문제 해결에 도움이 될 수 있는 몇 가지 고려 사항은 다음과 같습니다:

플러그인 경로 설정 확인:
- connect-distributed.properties 파일에서 plugin.path 설정이 올바르게 지정되어 있는지 확인하세요. JAR 파일이 이 경로에 정확히 위치해 있는지 점검해야 합니다.
- 경로를 재확인하고, JAR 파일이 해당 경로에 존재하는지 확인하고, 작업자를 다시 시작해보세요.
플러그인 파일 배포 및 위치 확인:
- 플러그인의 JAR 파일이 plugin.path의 지정된 디렉토리에 존재하는 지를 재확인 하세요.
- JAR 파일 이름에 오타가 없는지, 파일이 정확하게 업로드 되었는지를 확인하세요.
Docker 환경의 특성:
- 도커 환경에서는 파일 권한 및 경로 설정이 호스트와 컨테이너 간에 맞지 않을 수 있습니다. 컨테이너 내부에서의 파일 경로를 재확인해보세요.
Connect 워커 로그 확인:
- Connect 작업자를 재가동 후, 로그 파일을 확인하세요. 플러그인이 로드되지 않는 이유나 오류 메시지가 기록되어 있을 수 있습니다.

이 외에도 유사한 문제가 논의된 기존 페이지에서 추가적으로 참고할 수 있습니다:
- “http localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.”: 이 질문에서는 플러그인 관련 URL에 대한 설정 및 초기화를 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변