大容量リアルタイムストリーミング分析システム、
Kafka + ksqlDBで簡単かつ強力に!
リアルタイムストリーミングデータ分析
効率とスケーラビリティをつかみたいなら?
Kafka(カフカ)を使用している場合は、大容量のリアルタイムストリーミング分析システムを実装する最も簡単で迅速な方法はksqlDBを使用することです。
Kafkaと統合され、インストールおよび駆動されるksqlDBは複雑なStreaming APIを使用せず、わずか数行のSQLコードで簡単にリアルタイムストリーミングデータの加工/変換/分析作業を行うことができます。
コンフルエント公式ページから抜粋(リンク)
すでに国内外の有数企業が過去と比類のないほど大容量でありながら、高速なLatencyを持つストリーミングデータをリアルタイムで分析し、即座にその結果を反映しようとする要件に直面しており、そのためにksqlDBを積極的に導入しています。
過去には、Kafkaベースのリアルタイムストリーミングデータの加工/変換/分析のために複雑なKafka Streams APIを活用してきましたが、今では簡単なクエリだけでも簡単かつ迅速にストリーミング分析システムを構築できるksqlDBが、リアルタイムストリーミングデータ分析システム構築のための大勢となっています。
急成長するksqlDB、そして不足している専門家
ksqlDBは、SQLベースの簡単で便利な実装など、いくつかの利点があるため、既存のKafka Streams APIをすばやく置き換えて成長しています。
しかし、ksqlDBを実務に活用するほどの実力を備えた現業人材を見つけることは非常に難しいです。 ksqlDBが比較的最近浮上したソリューションであると同時に、ksqlDBを扱うほとんどの資料や講義が、皮象的な概念中心の内容で構成され、実務で必要とする実力を築くには不足が多かったからです。
リアルタイム大容量ストリーミングデータ処理アプリケーションを簡単かつ迅速に。
「カフカ完璧ガイド - ksqlDB」は
このレッスンは、あなたがksqlDBの専門家として成長するのを助けるために実践的な内容で構成されています。私たちの目標は、これにより企業が望むksqlDBの専門人材にさらに増やすことができるようになることです。
✅度がksqlDBの高い壁に遮られた方
✅ ksqlDBのコアメカニズムを理解したい方
✅ 業務に即時にksqlDBを活用したい方
これに本講義は、受講生の皆さんが実務ですぐにksqlDBを活用するために必ず体得しなければならない内容で満たされています。
この講義だけの特徴
確認してみてください。
詳細な視覚資料と実践を通じてksqlDBの主要コンポーネントのコア動作メカニズムを体得
ksqlDBは通常のRDBMSと似ていますが、かなり異なる部分がたくさんあります。そのため、ksqlDBをうまく扱うためには、主なコンポーネントであるStream、Table、Query、Mview、RocksDBなどの動作メカニズムを詳しく理解しておく必要があります。本講義では、詳細な視覚資料と実習を通じてksqlDBのコアメカニズムを体得できるようにお手伝いします。
ksqlDB固有の多様な関数、結合、Group by、Window活用および実務活用のための実戦実習まで
ksqlDBを実践的に活用するには、ksqlDBが提供するいくつかの関数を結合し、Group by、そしてWindowの使い方をよく知っている必要があります。特にksqlDBの結合、Group by、WindowにはSQLとは異なる制約があり、それらを理解しなければksqlDBを正しく活用することはできません。本講義では、これらの要素を多くの実習を通じて直接行ってみながら、その違いを明確に理解することができます。
また、個別に用意された「オンラインシューズショップ」実践実習セクションを通じて、あなたを実務からksqlDBで様々なリアルタイム分析を効率的に適用できるレベルに導きます。
ksqlDBからConnectを活用し、Elasticsearch連動とKibanaの可視化まで
ksqlDBでConnectを統合して活用する方法を教えてください。また、ksqlDBの分析結果をElasticsearchとしてConnect経由で保存し、それをKibanaを通じて視覚化する方法を実習を通じて習得することができます。
ksqlDB初心者から専門家レベルに導きます。
⚙️
ksqlDBの主要コンポーネントのコアメカニズム
🔎
StreamとTableの違いと活用方法、主要オブジェクトの作成と管理
🧰
練習によるksqlDBのさまざまなクエリ構文と主要関数の理解
📊
ksqlDB独自のGroup by、MView、Joinの理解と活用、RDBMSとの違いと制約事項
🔐
さまざまな種類のWindowsの理解とTimeベースのWindow Aggregation, Window結合の動作メカニズムの実践
💾
Connectとの連携とElasticsearchとKibanaによる解析結果の収集と可視化
ksqlDB 舐めではなく、これまでのどんな講義やインターネット資料でも見られなかったコアな内容と活用法を盛り込むために多くの努力を傾けました。また、実習を通じて理論をより自然に習得できるよう、様々な実習授業でカリキュラムを満載しました。
本講義を終えた後には、誰と比べても遜色のないksqlDB専門家として成長している自分を発見することができるでしょう。
詳細な説明、様々な実習で内容を十分に理解できるように構成しました。
(受講生の方には100ページ以上の講義教材PDFを提供します。)
- この講義ではksqlDBのみを扱い、Kafka Streamsは扱いません。
- Macbook M1/M2 モデル PC では、Virtualbox VM 準拠の実践が難しい場合があります。
練習環境
サーバーOS
Kafka Server OSとしてOracle(Oracle)VirtualBox VMベースでUbuntu Linux(Ubuntu Linux)20.04を使用します。 Linuxを使用していますが、仮想マシンベースで動作するため、Windows / macOS環境の両方で構成できます。
VirtualBoxは、Windows / macOS環境でほぼほとんどインストールできます。ただし、Macの場合、最新のM1モデルではVirtualBoxがインストールされないため、UTMなどの仮想環境を利用してUbuntuをインストールする必要があります。 M1モデルの場合は、必ず仮想環境でUbuntuがインストールされていることを確認してから講義を選択してください。
コンフルエントカフカ
コミュニティエディション
Kafkaは、Apache KafkaではなくConfluent Kafka Community Editionバージョン7.1.2を使用しています。
コンフルエントは、カフカを作ったコア人材が主軸となった企業であり、企業顧客のために性能と利便性の面でより向上した企業向けカフカを提供しています。 Apache Kafkaと100%互換性がありますが、より幅広いカフカモジュールと一体化されたBinaryを利用できます。コンフルエントで強力な分散型システムカフカをより弾力的に拡張可能な形で試してみてください。インフラの構築とメンテナンスの負担を軽減し、より迅速な開発を支援します。
推奨PC仕様
完全な練習環境構成では、20〜30 GBのストレージ容量、4 GB以上のRAMを備えたPC環境が必要になる場合があります。
Q&Aをチェックしてください💬
Q.以前の講義であるカフカ完璧ガイド - コア編やコネクト編を聴くべきですか?
本講義の2つのセクションは、ksqlDBとConnectの連動を扱っています。カフカパーフェクトガイド - コネクト編を受講しなかったとしても、基本的なConnectの理解と実習経験があれば、そのセクションの実習を理解することができるようです。
カフカコアの理解は必須です。以前の講義であるカフカパーフェクトガイド - コア編を受講してください。ただし、受講しなかったとしても、カフカの基本であるBroker、Producer、Consumerの活用経験があり、重要な概念がうまくいかれていれば、十分に本講義を聞くことができます。
Q. 講義受講にはRDBMS SQL経験が必要ですか?
本講義の多くの実習がクエリに基づいています。そのため、基本的なRDBMS SQL構文とGroup byとJoinの活用経験があるはずです。