Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
BEST
Data Science

/

Data Engineering

カフカパーフェクトガイド - ksqlDB

本講義は、ksqlDBの活用とコアメカニズムを様々な実習を通じて習得できるように構成されています。講義を終えたら、Kafka(カフカ)ベースのリアルタイムストリーミングデータ分析システムを簡単かつ迅速に構築できます。

  • dooleyz3525
카프카
Kafka
ksqldb
데이터 엔지니어링
streaming
sql
ksqlDB
Data Engineering

学習した受講者のレビュー

こんなことが学べます

  • KSQLDBの基盤概念からAdvancedアーキテクチャまで

  • StreamとTableの違い、そしてStateful(状態のある)Streaming処理メカニズム

  • KSQLDBの主要オブジェクトの作成および管理情報、さまざまなデータ型の理解

  • KSQLDBにおけるRocksDBの動作メカニズム

  • KSQLDBのさまざまなクエリ構文と関数の理解

  • Group by と Mview の理解と活用、そして特殊性と制約

  • さまざまな種類のKSQLDB結合の理解と活用、そして特殊性と制約

  • さまざまな種類のWindowsの理解とTimeベースのWindow AggregationとWindow結合の動作メカニズム

  • KSQLDBでConnectを利用する

  • KSQLDBとElasticsearchの連動とKibanaによる解析結果の可視化

大容量リアルタイムストリーミング分析システム、
Kafka + ksqlDBで簡単かつ強力に!

リアルタイムストリーミングデータ分析
効率とスケーラビリティをつかみたいなら?

Kafka(カフカ)を使用している場合は、大容量のリアルタイムストリーミング分析システムを実装する最も簡単で迅速な方法はksqlDBを使用することです。

Kafkaと統合され、インストールおよび駆動されるksqlDBは複雑なStreaming APIを使用せず、わずか数行のSQLコードで簡単にリアルタイムストリーミングデータの加工/変換/分析作業を行うことができます。

コンフルエント公式ページから抜粋(リンク)

すでに国内外の有数企業が過去と比類のないほど大容量でありながら、高速なLatencyを持つストリーミングデータをリアルタイムで分析し、即座にその結果を反映しようとする要件に直面しており、そのためにksqlDBを積極的に導入しています。

過去には、Kafkaベースのリアルタイムストリーミングデータの加工/変換/分析のために複雑なKafka Streams APIを活用してきましたが、今では簡単なクエリだけでも簡単かつ迅速にストリーミング分析システムを構築できるksqlDBが、リアルタイムストリーミングデータ分析システム構築のための大勢となっています。

急成長するksqlDB、そして不足している専門家

ksqlDBは、SQLベースの簡単で便利な実装など、いくつかの利点があるため、既存のKafka Streams APIをすばやく置き換えて成長しています。

しかし、ksqlDBを実務に活用するほどの実力を備えた現業人材を見つけることは非常に難しいです。 ksqlDBが比較的最近浮上したソリューションであると同時に、ksqlDBを扱うほとんどの資料や講義が、皮象的な概念中心の内容で構成され、実務で必要とする実力を築くには不足が多かったからです。


リアルタイム大容量ストリーミングデータ処理アプリケーションを簡単かつ迅速に。

「カフカ完璧ガイド - ksqlDB」は

このレッスンは、あなたがksqlDBの専門家として成長するのを助けるために実践的な内容で構成されています。私たちの目標は、これにより企業が望むksqlDBの専門人材にさらに増やすことができるようになることです。

度がksqlDBの高い壁に遮られた方

ksqlDBのコアメカニズムを理解したい方

✅ 業務に即時にksqlDBを活用したい方

これに本講義は、受講生の皆さんが実務ですぐにksqlDBを活用するために必ず体得しなければならない内容で満たされています。

この講義だけの特徴
確認してみてください。

詳細な視覚資料と実践を通じてksqlDBの主要コンポーネントのコア動作メカニズムを体得

ksqlDBは通常のRDBMSと似ていますが、かなり異なる部分がたくさんあります。そのため、ksqlDBをうまく扱うためには、主なコンポーネントであるStream、Table、Query、Mview、RocksDBなどの動作メカニズムを詳しく理解しておく必要があります。本講義では、詳細な視覚資料と実習を通じてksqlDBのコアメカニズムを体得できるようにお手伝いします。

ksqlDB固有の多様な関数、結合、Group by、Window活用および実務活用のための実戦実習まで

ksqlDBを実践的に活用するには、ksqlDBが提供するいくつかの関数を結合し、Group by、そしてWindowの使い方をよく知っている必要があります。特にksqlDBの結合、Group by、WindowにはSQLとは異なる制約があり、それらを理解しなければksqlDBを正しく活用することはできません。本講義では、これらの要素を多くの実習を通じて直接行ってみながら、その違いを明確に理解することができます。

また、個別に用意された「オンラインシューズショップ」実践実習セクションを通じて、あなたを実務からksqlDBで様々なリアルタイム分析を効率的に適用できるレベルに導きます。

ksqlDBからConnectを活用し、Elasticsearch連動とKibanaの可視化まで

ksqlDBでConnectを統合して活用する方法を教えてください。また、ksqlDBの分析結果をElasticsearchとしてConnect経由で保存し、それをKibanaを通じて視覚化する方法を実習を通じて習得することができます。

ksqlDB初心者から専門家レベルに導きます。

⚙️

ksqlDBの主要コンポーネントのコアメカニズム

🔎

StreamとTableの違いと活用方法、主要オブジェクトの作成と管理

🧰

練習によるksqlDBのさまざまなクエリ構文と主要関数の理解

📊

ksqlDB独自のGroup by、MView、Joinの理解と活用、RDBMSとの違いと制約事項

🔐

さまざまな種類のWindowsの理解とTimeベースのWindow Aggregation, Window結合の動作メカニズムの実践

💾

Connectとの連携とElasticsearchとKibanaによる解析結果の収集と可視化

ksqlDB 舐めではなく、これまでのどんな講義やインターネット資料でも見られなかったコアな内容と活用法を盛り込むために多くの努力を傾けました。また、実習を通じて理論をより自然に習得できるよう、様々な実習授業でカリキュラムを満載しました。

本講義を終えた後には、誰と比べても遜色のないksqlDB専門家として成長している自分を発見することができるでしょう。

詳細な説明、様々な実習で内容を十分に理解できるように構成しました。
(受講生の方には100ページ以上の講義教材PDFを提供します。)

💡受講前に参考にしてください!

  • この講義ではksqlDBのみを扱い、Kafka Streamsは扱いません。
  • Macbook M1/M2 モデル PC では、Virtualbox VM 準拠の実践が難しい場合があります。

練習環境

サーバーOS

Kafka Server OSとしてOracle(Oracle)VirtualBox VMベースでUbuntu Linux(Ubuntu Linux)20.04を使用します。 Linuxを使用していますが、仮想マシンベースで動作するため、Windows / macOS環境の両方で構成できます。

VirtualBoxは、Windows / macOS環境でほぼほとんどインストールできます。ただし、Macの場合、最新のM1モデルではVirtualBoxがインストールされないため、UTMなどの仮想環境を利用してUbuntuをインストールする必要があります。 M1モデルの場合は、必ず仮想環境でUbuntuがインストールされていることを確認してから講義を選択してください。

コンフルエントカフカ
コミュニティエディション

Kafkaは、Apache KafkaではなくConfluent Kafka Community Editionバージョン7.1.2を使用しています。

コンフルエントは、カフカを作ったコア人材が主軸となった企業であり、企業顧客のために性能と利便性の面でより向上した企業向けカフカを提供しています。 Apache Kafkaと100%互換性がありますが、より幅広いカフカモジュールと一体化されたBinaryを利用できます。コンフルエントで強力な分散型システムカフカをより弾力的に拡張可能な形で試してみてください。インフラの構築とメンテナンスの負担を軽減し、より迅速な開発を支援します。

推奨PC仕様

完全な練習環境構成では、20〜30 GBのストレージ容量、4 GB以上のRAMを備えたPC環境が必要になる場合があります。


Q&Aをチェックしてください💬

Q.以前の講義であるカフカ完璧ガイド - コア編やコネクト編を聴くべきですか?

本講義の2つのセクションは、ksqlDBとConnectの連動を扱っています。カフカパーフェクトガイド - コネクト編を受講しなかったとしても、基本的なConnectの理解と実習経験があれば、そのセクションの実習を理解することができるようです。

カフカコアの理解は必須です。以前の講義であるカフカパーフェクトガイド - コア編を受講してください。ただし、受講しなかったとしても、カフカの基本であるBroker、Producer、Consumerの活用経験があり、重要な概念がうまくいかれていれば、十分に本講義を聞くことができます。

Q. 講義受講にはRDBMS SQL経験が必要ですか?

本講義の多くの実習がクエリに基づいています。そのため、基本的なRDBMS SQL構文とGroup byとJoinの活用経験があるはずです。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • KSQLDBの主要コンポーネントを簡単かつ深く理解したい人

  • Kafkaベースで大量のリアルタイムストリーミングデータ処理/変換分析システムを迅速かつ効果的に構築したいデータエンジニア

  • リアルタイムストリーミングデータ分析の活用が必要なアナリストとデータサイエンティスト

  • 既存の Producer/Consumer ベースまたは Kafka Streams ベースから KSQLDB ベースに Application を Migration したい開発者

前提知識、
必要でしょうか?

  • (カフカパーフェクトガイド - コア編を受講した場合は最高ですが、そうでない場合)トピック/プロデューサー/コンシューマーについての基本的な知識が必要です

  • Kafka Connectの基礎知識

  • 多くの練習がクエリに基づいて行われます。結合とGroup Byを理解するための基本的なSQL知識が必要です

こんにちは
です。

25,933

受講生

1,276

受講レビュー

3,961

回答

4.9

講座評価

13

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

139件 ∙ (21時間 31分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

16件

4.8

16件の受講レビュー

  • 정진묵님의 프로필 이미지
    정진묵

    受講レビュー 2

    平均評価 4.5

    4

    30% 受講後に作成

    • logt님의 프로필 이미지
      logt

      受講レビュー 10

      平均評価 5.0

      修正済み

      5

      100% 受講後に作成

      선생님이 마지막에 보너스로 ElasticSearch와 Kibana를 이용해서 그래프 만드는 것까지 모든 실습을 가르쳐 주셔서 Kafka 로드맵의 피날레를 장식한 것 같습니다. 직접 그래프를 눈으로 확인하니 뿌듯하네요. 좋은 강의 제공해주셔서 감사합니다.

      • 권 철민
        知識共有者

        오, Kafka 로드맵 피날레 강의까지 다 들으셨다니, 축하드립니다. 좋은 수강평도 감사 드려요 ^^

    • sjhappy님의 프로필 이미지
      sjhappy

      受講レビュー 2

      平均評価 5.0

      5

      6% 受講後に作成

    • jsggo2001님의 프로필 이미지
      jsggo2001

      受講レビュー 8

      平均評価 5.0

      5

      100% 受講後に作成

      정말 많은 도움이 되었습니다 카프카에 대해서 1도 몰랐는데 카프카 코어편부터 커넥트 ksqldb 까지 어디가서 카프카에 대한 업무를 해야할때나 주제가 나오면 주저 없이 참여할 수 있을것 같습니다 물론 반복을 통해서 진정 내것이 되도록 해야하겠지만 그래도 정말 많은 도움이 된것 같습니다.

      • 권 철민
        知識共有者

        Kafka 강의 시리즈를 만든 보람을 느꼈습니다. 좋은 수강평 감사합니다 ^^

    • Matthew님의 프로필 이미지
      Matthew

      受講レビュー 9

      平均評価 4.4

      5

      33% 受講後に作成

      나만 듣고 싶은 강의👏👏👏 강의자료와 설명이 매우 좋습니다. ksqlDB만 들으려고 했는데, 다른 강의도 듣고 싶어졌어요.

      • 권 철민
        知識共有者

        좋은 칭찬에 저도 기분이 좋아지는 군요. 훌륭한 수강평 감사드립니다.

    ¥11,780

    dooleyz3525の他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!