카프카 완벽 가이드 - 커넥트(Connect) 편 대시보드

중급자를 위해 준비한
[데이터 엔지니어링, 데브옵스 · 인프라] 강의입니다.

카프카 커넥트(Kafka Connect)에 대한 깊이 있는 이론 설명과 현업에서 바로 사용될 수 있는 수준의 상세한 실습을 통해 여러분을 현장에서 필요로 하는 카프카 커넥트 기반의 데이터 연동 및 데이터 파이프라인 구축 전문가로 성장시켜 드릴 것입니다.

아파치 카프카 실무를 위한 커넥트, 
원리부터 실무 응용까지 확실하게! 

강력한 실시간 데이터 연동을 위한 
카프카 커넥트(Kafka Connect).

다양한 데이터 시스템 간의 실시간 연동을 위한 최고의 오픈소스 솔루션!

카프카 커넥트는 별도의 코딩 구현 없이 이미 만들어진 커넥터(Connector)들을 통해 다양한 시스템간의 실시간 데이터 연동을 쉽고 빠르며 안정적으로 구축할 수 있게 만들어 줍니다.

해외에서는 이미 많은 기업들이 카프카 커넥트를 도입하였고, 국내에서도 카프카 커넥트를 이기종 데이터 시스템 간의 통합 및 전사 데이터 파이프라인 구축에 활용하면서 카프카 및 카프카 커넥트에 대한 실무 역량을 갖춘 인재에 대한 수요가 늘고 있습니다. 하지만 아쉽게도 카프카 커넥트에 대한 학습 자료는 여전히 부족한 상황입니다. 기본적이고 피상적인 수준의 정보만 제공하는 책/자료/강의만 찾아볼 수 있기 때문에, 실무에서 원하는 정도의 실전 역량을 갖춘 인력을 양성하기 어렵습니다. 

실무에서 원하는 카프카 커넥트 전문가로 성장할 수 있게 이끌어 드립니다.

_{상세한
메커니즘 설명}

_{실무 수준의 
다양한 예제} 

_{이슈 해결 
방안까지 OK} 

본 강의는 지금껏 어떤 강의나 책에서도 접할 수 없었던, 상세하고 실전적인 수준으로 카프카 커넥트를 다루고 있습니다. 카프카 커넥트 핵심 구성 요소들의 상세한 메커니즘 설명, 그리고 커넥트를 활용한 다양한 데이터 연동과 운영 관리를 다뤄볼 수 있는 많은 실습 예제들을 통해 여러분을 현장에서 필요로 하는 카프카 커넥트 전문가로 성장시켜 드릴 것입니다. 

무엇보다, CDC 기반의 카프카 커넥트 데이터 연동을 확실하게 익히실 수 있습니다.

대부분 기업의 중요 데이터 시스템은 RDBMS입니다. 물리적으로 서로 떨어져 있는 데이터베이스의 실시간 연동은 CDC(Change Data Capture)가 대세입니다. CDC는 대용량의 데이터를 지연없이 실시간으로 연동하면서도 시스템의 부하는 최소화할 수 있는 훌륭한 데이터 연동 기법입니다. Debezium Connector는 카프카 커넥트를 이용하여 서로 다른 RDBMS간 데이터를 연동할 수 있게 해주는 가장 대표적인 CDC 솔루션입니다.   

많은 기업에서 CDC 기반의 커넥트를 다룰 수 있는 인력을 요구하고 있습니다. 이에 본 강의에서는 CDC와 Debezium Connector의 메커니즘과 환경 설정 및 적용 방안, 그리고 Debezium을 현업에 적용할 때 발생할 수 있는 여러 이슈 사항 및 그에 따른 해결 방안들을 상세한 이론 설명과 실습을 통해 자세히 설명합니다.

이 강의만의 특징을 
확인해보세요.

상세한 설명과 실습을 통한 카프카 커넥트 주요 구성 요소들의 이해

커넥트 클러스터, Connector, SMT(Single Message Transform), Converter 등에 대한 핵심 기반 지식을 상세한 설명과 실습을 통해 자유자재로 활용할 수 있는 수준으로 체득시켜 드립니다. 

다양한 Connector들에 대한 환경 구성 및 구동 실습

SpoolDir Source, JDBC Source/Sink, Debezium Source Connector 등 RDBMS 운영 환경에 적용될 수 있는 다양한 Connector들의 환경 설정 파라미터와 내부 메커니즘, 그리고 다양한 적용 실습을 통해 카프카 기반의 실전 데이터 연동 시스템을 구축할 수 있도록 도와드립니다. 

Debizium CDC 소스 Connector에 대한 상세한 메커니즘 설명, 다양한 실습 & 발생할 수 있는 이슈 사항 및 해결 방안까지!

Debezium CDC 소스 커넥터에 대해서 많은 내용을 담았습니다. RDBMS 운영 환경에서 Debezium CDC와 JDBC Sink Connector를 통해서 서로 떨어져 있는 RDBMS간 실시간 연동을 운영에 어떻게 구축해야 할지 자세한 가이드를 드립니다. 

Avro 및 스키마 레지스트리(Schema Registry) 이해와 활용

커넥트 뿐만 아니라 Avro 및 스키마 레지스트리를 통한 스키마 데이터의 전송 및 중앙 관리, 특히 실무에서 중요하게 다뤄져야 하는 스키마 호환성에 대해서 상세하게 설명드립니다.  이를 통해 커넥트와 스키마 레지스트리를 연동하여 실무에서 필요로 하는 효율적인 전사 데이터 통합 및 데이터 파이프라인 구축 방안을 익히실 수 있습니다. 

REST API를 통한 Connect와 Schema Registry의 관리 방안

Connect와 Schema Registry 주요 요소들을 다양한 REST API들을 통해서 생성/수정/삭제/관리할 수 있는 방법들을 배우게 됩니다. 

Kafka Connect 마스터를 위한 Bonus!

약 200페이지 분량의 강의 교재를 수강생 여러분께 제공합니다. 카프카 커넥트를 익히는 데 도움이 되시길 바랍니다.

실습 환경 💾 

Q&A를 확인해보세요 💬

이런 분들께 추천드려요!