카프카 커넥터를 두가지 사용하는 이유

Question

안녕하세요 카프카 커넥터를 적용해보려고, 공부중인데, 많은 예시에서 JDBC Connector와 Kafka MySQL Conenctor 두가지를 사용하더라구요

JDBC Connector는 데이터를 관계형 DB와 잘 연동되게 가져오고 넣기위한 소스들을 제공하는 커넥터이고, Kafka MySQL Connector는 카프카와 MySQL DB를 연결하기위한 커넥터이다.
라고 제가 이해하고 있는데, 맞는건가요?

Answer

안녕하세요 카프카 커넥터의 종류에 따라 사용 용도가 모두 다릅니다. 그렇기 때문에 말씀하신 내용으로는 정확히 어떤 역할을 뜻하는지 알기 어렵습니다. 각 커넥터의 description을 확인하시는 것이 좋을거 같네요

https://docs.confluent.io/kafka-connectors/jdbc/current/sink-connector/overview.html : The Kafka Connect JDBC Sink connector allows you to export data from Apache Kafka® topics to any relational database with a JDBC driver. This connector can support a wide variety of databases. The connector polls data from Kafka to write to the database based on the topics subscription. It is possible to achieve idempotent writes with upserts. Auto-creation of tables and limited auto-evolution is also supported.
https://docs.confluent.io/cloud/current/connectors/cc-mysql-source.html : The Kafka Connect MySQL Source connector for Confluent Cloud can obtain a snapshot of the existing data in a MySQL database and then monitor and record all subsequent row-level changes to that data. The connector supports Avro, JSON Schema, Protobuf, or JSON (schemaless) output data formats. All of the events for each table are recorded in a separate Apache Kafka® topic. The events can then be easily consumed by applications and services. Note that deleted records are not captured.