Apache Kafkaの実務のためのコネクト、 原理から実務応用までしっかり!
強力なリアルタイムデータ連携のためカフカコネクト(Kafka Connect)。
さまざまなデータシステム間のリアルタイム連携のための最高のオープンソースソリューション! Kafka Connectは、別のコーディングを実装せずにすでに作成されたコネクタを介して、さまざまなシステム間のリアルタイムデータ連携を簡単かつ迅速かつ確実に構築できます。
海外ではすでに多くの企業がカフカコネクトを導入しており、国内でもカフカコネクトを異機種データシステム間の統合および転写データパイプライン構築に活用しながら、カフカおよびカフカコネクトに対する実務力量を備えた人材に対する需要が増えていますが、残念ながらカフカコネクトに関する学習資料はまだ欠けています。 本/資料/講義だけが閲覧できるため、実務で望む程度の実戦能力を備えた人材を養成しにくいです。
実務でお好みのカフカコネクト専門家に成長できるように導きます。
詳細メカニズムの説明
実務レベルさまざまな例
問題の解決 部屋までOK
この講義は今までどんな講義や本でも触れられなかった、詳細で実践的なレベルでカフカコネクトを扱っています 。
何よりも、CDCベースのカフカコネクトデータ連動を確実に習得できます。
大部分の企業の 重要なデータシステムは、RDBMS です。
多くの企業がCDCベースのコネクトを扱うことができる人材を求めています。
この講義だけの特徴 確認してみてください。 詳細な説明と実践によるカフカコネクトの主要コンポーネントの理解 コネクトクラスター、Connector、SMT(Single Message Transform)、Converterなどのコア基盤知識を詳細な説明と実習を通じて自由自在に活用できるレベルで体得させます。
さまざまなConnectorの環境設定とドライブ実践 SpoolDir Source、JDBC Source/Sink、Debezium Source Connectorなど、RDBMS運用環境に適用できるさまざまなConnectorの環境設定パラメータと内部メカニズム、そして様々な適用実習を通じて、カフカベースの実戦データ連動システムを構築するのに役立ちます。
Debizium CDCソースコネクタの詳細なメカニズムの説明、さまざまな練習&発生する可能性のある問題と解決策まで! Debezium CDCソースコネクタについて多くのことを説明しました。
Avroとスキーマレジストリ(Schema Registry)の理解と活用 コネクトだけでなく、Avroおよびスキーマレジストリを介したスキーマデータの転送と集中管理、特に実務で重要に扱われる必要があるスキーマ互換性について詳しく説明します。
REST APIを介したConnectとSchema Registryの管理方法 ConnectとSchema Registryの主要要素を、さまざまなREST APIを介して作成/変更/削除/管理する方法を学びます。
Kafka ConnectマスターのためのBonus! 約200ページ分の講義教材 を受講生の皆様にお届けします。
練習環境💾
サーバーOS
カフカサーバーOSとしてOracle(Oracle)VirtualBox VMベースでUbuntu Linux(Ubuntu Linux)20.04を 使用していますが、仮想マシンベースで動作するため、Windows / macOS環境の両方で構成できます。
VirtualBoxはWindows/macOS環境でほぼほとんどインストール可能ですが、Macの場合は最新のM1モデルからVirtualBoxがインストールされないため、UTMなどの仮想環境を利用してUbuntuをインストールする必要があります 。
コンフルエントカフカ コミュニティエディション
Kafkaは、Apache KafkaではなくConfluent Kafka Community Editionバージョン7.1.2 を使用しています。
コンフルエントは、カフカを作ったコア人材が主軸となった企業で、企業顧客向けにパフォーマンスと利便性の面でより向上した企業向けカフカを提供しています。インフラの構築とメンテナンスの負担を軽減し、より迅速な開発を支援します。
RDBMS
Spooldir Source Connectorのようにファイルデータの連動も実習として提供しますが、ほとんどのコネクト実習連動はRDBMS間のデータ連動を主軸とします。
特に、SourceとSinkはどちらもMySQL DBで同じ実習が多く、SourceはMySQL、SinkはPostgreSQLの 実習も一緒に行います。
推奨PC仕様
完全な練習環境構成では、20〜30 GBのストレージ容量、4 GB以上のRAM を備えたPC環境が必要になる場合があります。
Q&A をチェックしてください💬 Q. なぜカフカコネクトを学ぶべきですか?
カフカコネクトは、カフカベースのデータ連携のための重要なコンポーネント です。
カフカコネクトは、120以上の多様なConnectorを通じて、Oracle、MySQL、PostgreSQLなどの代表的なRDBMSだけでなく、MongoDB、ElasticSearchなどのNoSQL、RedShift、SnowFlake、Vertica、TeradataなどのDWシステムなど、さまざまな異機種データシステムを相互接続するために使われています。
別途のコーディングの実装がなくても、カフカコネクトを通じて容易に異機種データシステムを相互連動/統合することができ、特にCommunity licenseを介した連動S/Wコストの削減とCDCベースで大容量データの遅延時間のないリアルタイム連動などのメリットで、多くの企業でその使いやすさと活用度が大きくなっています。
本講義を通じてカフカコネクトをよく身につけるようになれば、企業が望むカフカ専門の人材でさらに伸ばすことができます。
Q. 以前の講義であるカフカ完璧ガイド - コア編を聴くべきですか?
以前の講義であるカフカパーフェクトガイド - コア編を受講する方が良いですが、受講しなかったとしても、カフカの基本であるBroker、Producer、Consumerの概念がよく確立されており、カフカのメッセージの送信と読書を適用してみた経験がある方なら十分に本講義を聞くことができます。
Q. 講義受講にはRDBMS経験が必要ですか?
残念ながら、この講義では3ヶ月以上のRDBMS経験が 必要です。 基本的にRDBMSテーブルとカラム変更生成程度だけ理解してもほとんどの講義実習が可能ですが、CDCやRDBMS複製などは講義でその内容を詳しく説明することにもかかわらず、RDBMSに対するある程度の経験がなければ実習が難しく感じられます。