Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
BEST
Data Science

/

Data Engineering

カフカパーフェクトガイド - コネクト編

カフカ・コネクトに関する深い理論の説明と、現場ですぐに使えるレベルの詳細な実践を通じて、現場で必要とするカフカ・コネクトベースのデータ連動およびデータパイプライン構築の専門家に成長させていきます。 。

  • dooleyz3525
데이터수집
카프카
kafka
백엔드
데이터사이언스
Kafka
Data Engineering

学習した受講者のレビュー

こんなことが学べます

  • カフカコネクト主要コンポーネントのコアメカニズム

  • CDC(Change Data Capture)の理解と実務適用技術

  • MySQLデータの複製とChange Data Capture(CDC)の理解と実践の適用方法

  • Debezium CDC Sourceコネクタの重要なメカニズムと特長

  • Debezium CDCソースコネクタを使用したRDBMS間のデータ連携

  • Debiziumコネクトベースの連動システム構築ノウハウ

  • JDBCベースのSourceコネクタとSink Connectorの環境設定と駆動

  • メッセージ変換のためのさまざまなSMTクラスの適用

  • REST APIを使用したコネクト管理

  • スキーマレジストリ(Schema Registry)の活用とコネクトとの統合

  • REST APIを使用したスキーマ・レジストリの管理

Apache Kafkaの実務のためのコネクト、
原理から実務応用までしっかり!

強力なリアルタイムデータ連携のため
カフカコネクト(Kafka Connect)。

さまざまなデータシステム間のリアルタイム連携のための最高のオープンソースソリューション!

Kafka Connectは、別のコーディングを実装せずにすでに作成されたコネクタを介して、さまざまなシステム間のリアルタイムデータ連携を簡単かつ迅速かつ確実に構築できます。

海外ではすでに多くの企業がカフカコネクトを導入しており、国内でもカフカコネクトを異機種データシステム間の統合および転写データパイプライン構築に活用しながら、カフカおよびカフカコネクトに対する実務力量を備えた人材に対する需要が増えていますが、残念ながらカフカコネクトに関する学習資料はまだ欠けています。本/資料/講義だけが閲覧できるため、実務で望む程度の実戦能力を備えた人材を養成しにくいです。

実務でお好みのカフカコネクト専門家に成長できるように導きます。

詳細
メカニズムの説明

実務レベル
さまざまな例

問題の解決
部屋までOK

この講義は今までどんな講義や本でも触れられなかった、詳細で実践的なレベルでカフカコネクトを扱っています

何よりも、CDCベースのカフカコネクトデータ連動を確実に習得できます。

大部分の企業重要なデータシステムは、RDBMSです。

多くの企業がCDCベースのコネクトを扱うことができる人材を求めています。


この講義だけの特徴
確認してみてください。

詳細な説明と実践によるカフカコネクトの主要コンポーネントの理解

コネクトクラスター、Connector、SMT(Single Message Transform)、Converterなどのコア基盤知識を詳細な説明と実習を通じて自由自在に活用できるレベルで体得させます。

さまざまなConnectorの環境設定とドライブ実践

SpoolDir Source、JDBC Source/Sink、Debezium Source Connectorなど、RDBMS運用環境に適用できるさまざまなConnectorの環境設定パラメータと内部メカニズム、そして様々な適用実習を通じて、カフカベースの実戦データ連動システムを構築するのに役立ちます。

Debizium CDCソースコネクタの詳細なメカニズムの説明、さまざまな練習&発生する可能性のある問題と解決策まで!

Debezium CDCソースコネクタについて多くのことを説明しました。

Avroとスキーマレジストリ(Schema Registry)の理解と活用

コネクトだけでなく、Avroおよびスキーマレジストリを介したスキーマデータの転送と集中管理、特に実務で重要に扱われる必要があるスキーマ互換性について詳しく説明します。

REST APIを介したConnectとSchema Registryの管理方法

ConnectとSchema Registryの主要要素を、さまざまなREST APIを介して作成/変更/削除/管理する方法を学びます。

Kafka ConnectマスターのためのBonus!

約200ページ分の講義教材を受講生の皆様にお届けします。


練習環境💾

サーバーOS

カフカサーバーOSとしてOracle(Oracle)VirtualBox VMベースでUbuntu Linux(Ubuntu Linux)20.04を使用していますが、仮想マシンベースで動作するため、Windows / macOS環境の両方で構成できます。

VirtualBoxはWindows/macOS環境でほぼほとんどインストール可能ですが、Macの場合は最新のM1モデルからVirtualBoxがインストールされないため、UTMなどの仮想環境を利用してUbuntuをインストールする必要があります

コンフルエントカフカ
コミュニティエディション

Kafkaは、Apache KafkaではなくConfluent Kafka Community Editionバージョン7.1.2を使用しています。

コンフルエントは、カフカを作ったコア人材が主軸となった企業で、企業顧客向けにパフォーマンスと利便性の面でより向上した企業向けカフカを提供しています。インフラの構築とメンテナンスの負担を軽減し、より迅速な開発を支援します。

RDBMS

Spooldir Source Connectorのようにファイルデータの連動も実習として提供しますが、ほとんどのコネクト実習連動はRDBMS間のデータ連動を主軸とします。

特に、SourceとSinkはどちらもMySQL DBで同じ実習が多く、SourceはMySQL、SinkはPostgreSQLの実習も一緒に行います。

推奨PC仕様

完全な練習環境構成では、20〜30 GBのストレージ容量、4 GB以上のRAMを備えたPC環境が必要になる場合があります。


Q&Aをチェックしてください💬

Q. なぜカフカコネクトを学ぶべきですか?

カフカコネクトは、カフカベースのデータ連携のための重要なコンポーネントです。

カフカコネクトは、120以上の多様なConnectorを通じて、Oracle、MySQL、PostgreSQLなどの代表的なRDBMSだけでなく、MongoDB、ElasticSearchなどのNoSQL、RedShift、SnowFlake、Vertica、TeradataなどのDWシステムなど、さまざまな異機種データシステムを相互接続するために使われています。

別途のコーディングの実装がなくても、カフカコネクトを通じて容易に異機種データシステムを相互連動/統合することができ、特にCommunity licenseを介した連動S/Wコストの削減とCDCベースで大容量データの遅延時間のないリアルタイム連動などのメリットで、多くの企業でその使いやすさと活用度が大きくなっています。

本講義を通じてカフカコネクトをよく身につけるようになれば、企業が望むカフカ専門の人材でさらに伸ばすことができます。

Q. 以前の講義であるカフカ完璧ガイド - コア編を聴くべきですか?

以前の講義であるカフカパーフェクトガイド - コア編を受講する方が良いですが、受講しなかったとしても、カフカの基本であるBroker、Producer、Consumerの概念がよく確立されており、カフカのメッセージの送信と読書を適用してみた経験がある方なら十分に本講義を聞くことができます。

Q. 講義受講にはRDBMS経験が必要ですか?

残念ながら、この講義では3ヶ月以上のRDBMS経験が必要です。
基本的にRDBMSテーブルとカラム変更生成程度だけ理解してもほとんどの講義実習が可能ですが、CDCやRDBMS複製などは講義でその内容を詳しく説明することにもかかわらず、RDBMSに対するある程度の経験がなければ実習が難しく感じられます。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • カフカコネクトの内部メカニズムを確実に理解し、実務に応用したい方

  • 転写データパイプラインの構築とCDCベースのデータアーキテクチャの理解を望むデータエンジニアまたはアーキテクチャ

  • JDBCまたはDebezium CDC Connectorの操作が必要なDBAまたはシステム・オペレーター

  • 運用DBのリアルタイム同期を通じたETLとDB連動を悩むDW開発者

  • マイクロサービスベースのアーキテクチャ構成におけるCDCベースのデータ連携方式を考える開発者とアーキテクト

前提知識、
必要でしょうか?

  • Kafka Broker、Producer、Consumerの基礎知識

  • 3ヶ月以上のRDBMSの開発または運用経験

こんにちは
です。

25,933

受講生

1,276

受講レビュー

3,961

回答

4.9

講座評価

13

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

147件 ∙ (24時間 35分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

25件

4.9

25件の受講レビュー

  • jaeheonna9271님의 프로필 이미지
    jaeheonna9271

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    • penguin03님의 프로필 이미지
      penguin03

      受講レビュー 6

      平均評価 5.0

      5

      31% 受講後に作成

      • genie6136님의 프로필 이미지
        genie6136

        受講レビュー 3

        平均評価 5.0

        5

        31% 受講後に作成

        • dooleyz3525
          知識共有者

          Cảm ơn nhận xét tốt ^^

      • javython님의 프로필 이미지
        javython

        受講レビュー 43

        平均評価 5.0

        5

        100% 受講後に作成

        Tài liệu bài giảng được chuẩn bị kỹ càng nên tôi không gặp khó khăn gì khi thực hành. Tôi đã học rất thú vị.

        • dooleyz3525
          知識共有者

          Bạn học vui vẻ, tôi cũng rất vui. Cảm ơn đánh giá tốt.

      • nonoa8467519님의 프로필 이미지
        nonoa8467519

        受講レビュー 29

        平均評価 5.0

        5

        95% 受講後に作成

        Lần này tôi làm dự án và phải đồng bộ hóa DB bằng Kafka nên rất bế tắc, nhưng tôi đã dùng cheat code là bài giảng của Kwon Cheol-min và áp dụng, hoàn thành dự án tốt đẹp. Cảm ơn rất nhiều. MariaDB -> PostgreSQL PostgreSQL -> MariaDB

        ¥11,780

        dooleyz3525の他の講座

        知識共有者の他の講座を見てみましょう!

        似ている講座

        同じ分野の他の講座を見てみましょう!