inflearn logo
知識共有
inflearn logo

シリコンバレーエンジニアと一緒に学ぶApache Flink

リアルタイムデータ処理、今や選択ではなく必須! Apache Flinkでリアルタイムストリーミングをスマートに扱ってみます。 バッチ?ストリーミング?複雑な概念も簡単に、素早く理解できます。 Kafka、DB連携まで直接やってみながら感覚を掴む実習中心の構成! データで動く世界、Flinkで先に始めてみませんか。

難易度 入門

受講期間 無制限

flink
flink
Big Data
Big Data
Data Engineering
Data Engineering
data-analysis
data-analysis
data-transformation
data-transformation
flink
flink
Big Data
Big Data
Data Engineering
Data Engineering
data-analysis
data-analysis
data-transformation
data-transformation

学習した受講者のレビュー

4.2

5.0

알프리드왕

受講進捗48%時点のレビュー

リアルタイムデータ処理に興味があり受講しましたが、期待以上に有益な講義でした。

5.0

자비스뿅

受講進捗52%時点のレビュー

Flinkに初めて触れたときは難しく感じましたが、講義を受けるうちに全体的な概念や動作原理を簡単に理解できるようになりました。

5.0

junyeong.goh

受講進捗100%時点のレビュー

素早く概念や動作方法を理解することができた。

この講座で身につくこと

  • リアルタイムデータストリーミングとバッチ処理の概念的違い

  • Flinkの核心構成要素とアーキテクチャの理解

  • Kafka、ファイルシステム、Flink連携実習

  • ウィンドウ、状態管理、チェックポイントなど実戦でよく使われる機能

🚀リアルタイムデータ処理の核心、Apache Flink 2.x 入門

  • データが溢れる時代、「リアルタイム処理」はもはや選択ではなく必須!

  • Apache Flinkは、Netflix、Uber、Alibabaのようなグローバル企業がすでに使用している、リアルタイムデータ処理の最高峰です。


  • 🧠 Flinkって何?
    マイクロバッチじゃなくて本当のリアルタイム!Flinkのアーキテクチャと核心概念を分かりやすく教えます。

  • ⚔リアルタイム vs バッチ、勝負だ
    どんな状況で何を使うべきか、2つの方式の違いとメリット・デメリットを実際の例で比較してみましょう。

  • 💬Kafkaとの相性抜群
    「Kafkaがデータを送信し、Flinkがリアルタイムで処理する!」この組み合わせ、実務で本当によく使われています。

  • 🌡実践体験:IoTセンサーデータ平均計算プロジェクト
    実際のデータを使って平均温度をリアルタイムで計算するプロジェクトを直接作ってみましょう。
    → Flinkが実践でどのように使われるのか、感覚がバッチリつかめます。

flink、ビッグデータ、データエンジニアリング、data-analysis、データトランスフォーメーション

Apache Flinkでレベルアップ!ストリーミング実践講座、今すぐ始めましょう!💪

🙌 こんな方におすすめです

📊 データはたくさんあるのに、何をどうすればいいかわからないです

リアルタイムデータストリーミングの流れを最初から最後まで掴みたい開発者

⏱ Kafkaは分かったけど、リアルタイム処理まで行ってみよう!

Kafkaでデータを受信しているが、それをリアルタイムで加工したい方

🔥 データエンジニアリング、私も一度真剣に学んでみようかな?

Python、Javaの基礎知識はあるが、実務経験はまだ不足している開発初心者

🎉 受講後はこのように変わります!

  • ✅ リアルタイムデータ処理の全体的な流れが見えます


    • Kafkaからデータを受け取り、Flinkでリアルタイム分析を行い、結果を外部システムに出力する全体フローを直接実装してみます。これでリアルタイムパイプラインが漠然としたものではなく、手に取るように理解できる構造になります。

  • ✅イベント時間ベースの処理の概念が明確になります

    • Event Time、Watermark、Windowといった概念は、最初は混乱するかもしれません。この講義では、実際のデータを時間基準で処理しながら、時間概念がどのようにストリーミング処理に影響を与えるのか身をもって体感することになります。

  • ✅ ポートフォリオに掲載できる実践プロジェクトの成果物が得られます


    • 📌 "IoTセンサーデータリアルタイム分析ダッシュボード"

      • Kafkaでセンサーデータを受信

      • Flinkで平均温度を計算

      • リアルタイムで結果を出力および保存

📚このような内容を学びます

リアルタイムデータストリーミングの核心概念と構造理解

  • Apache Flink 2.xの基本アーキテクチャと動作原理

  • バッチ処理 vs ストリーミング処理方式の違い

  • イベント時間、ウィンドウ、ウォーターマークなど、リアルタイム処理のための核心概念

  • 状態(State)管理とCheckpointによる耐障害性の確保

Kafkaと連携した実践ストリーミングパイプライン構築

  • Kafkaからデータを受信 → Flinkで処理 → 外部に出力する全体フロー実習

  • IoTセンサーデータを活用した平均温度計算プロジェクト

🤔 何か気になることはありますか?

❓ Q1. Flinkという言葉を初めて聞いたのですが、完全初心者でも受講できますか?

A. はい!この講義はFlinkを一度も使ったことがない方でも十分についてこられるように構成されています。
最初はFlinkの基本構造と概念をゆっくり説明し、Kafkaとの連携過程も実習を通じて直接実践できるようにサポートします。
基礎からしっかり積み上げていくので心配しないでください!

❓ Q2. Kafkaについてよく知らないのですが、大丈夫でしょうか?

A. 心配しないでください!Kafkaも講義の流れの中で必要な部分だけ分かりやすく説明します。
Kafka自体を深く掘り下げる講義ではありませんが、リアルタイムデータフローを理解するのに必要な概念と設定は一緒に学べるように構成されています。
「Kafka + Flinkの組み合わせ」を実際に扱いながら、自然に両方の技術を結びつけて理解できます。

❓ Q3. 講義を受講すれば、実務ですぐに使えるようになりますか?

A. はい、実務にすぐ適用可能な例題と実習で構成されています。
例えば、IoTセンサーデータを受け取って平均温度をリアルタイムで計算するプロジェクトを一緒に作ってみます。これは単純な実習ではなく、
実際の現場でログ分析、モニタリング、アラームシステムなどに拡張適用できる構造です。
講義を終えると「これを私たちのサービスにどう適用できるか」イメージが見えるようになります

受講前の参考事項

実習環境

  • オペレーティングシステムおよびバージョン(OS): macOS、Linux、UbuntuなどのOS種類およびバージョン

  • 使用ツール:Docker

  • 使用言語:Python、Java

学習資料

  • PDF講義資料(各動画学習資料参照)およびコード資料を提供します。

前提知識と注意事項

  • 本講義は実習中心で構成されており、Docker環境でApache FlinkとKafkaを実行します。したがって、以下のような基礎知識をお持ちであれば、よりスムーズに受講していただけます😊

    • Javaの基本文法と使用法

    • Pythonの基本文法および使用法

    • (オプション) Apache Spark 基本情報

    • Docker及びDocker Composeの使用方法

  • もしDockerに慣れていない方は、私が作った無料Docker入門講座をおすすめします。
    👉 Docker無料講座を見に行く

  • 講義を開始した時点での最新バージョンである2.Xの文法で説明されています(1.Xの文法とは異なります)

  • 講義中に理解しにくい部分があったり、質問が生じた場合は、いつでもコメントで質問を残してください!
    私がアメリカ西部に住んでいるため、時差の関係で返信が多少遅れる可能性がある点、ご了承ください。
    できるだけ早く、正確にサポートいたします😊

次のような方に
おすすめです

受講対象

  • ログ、トラフィック、センサーデータなどのリアルタイムデータ処理をやってみたいバックエンド開発者

  • Flink、Kafka等のストリーミングベース技術を実務に導入したいデータエンジニア

  • バッチ処理中心のデータパイプラインをストリーミングに転換しようとするチーム/会社にいる方

  • Sparkは使ったことがあるけれど、本当のリアルタイム処理を体験してみたい開発者

  • クラウドベースのリアルタイム分析システムに興味のある方

前提知識

  • Java基礎文法

  • Kafkaやメッセージキューに関する基本概念

  • Linux基本コマンドおよびDocker使用経験(選択事項)

こんにちは
altoformulaです。

インフラーン認証

28,533

受講生

1,712

受講レビュー

388

回答

4.8

講座評価

34

講座

韓国で終わらせるつもり?英語で世界市場を突き破れ! 🌍🚀

こんにちは。UC Berkeleyで💻コンピューター工学(EECS)を専攻し、シリコンバレーで15年以上ソフトウェアエンジニアとして働いてきました。現在はシリコンバレーのビッグテック本社でビッグデータとDevOpsを担当するStaff Software Engineerを務めています。 working with Big Data and DevOps at a Big Tech headquarters in Silicon Valley.

  • 🧭 シリコンバレーのイノベーションの現場で直接学んだ技術とノウハウを、オンライン講義を通じて皆さんと分かち合いたいと思います。

  • 🚀 技術革新の最前線で学び成長してきた私と共に、皆さんもグローバルな舞台で活躍できる力を身につけましょう!

  • 🫡 頭は良くありませんが、諦めずにコツコツと続ければ何事も成し遂げられるということを、ぜひお伝えしたいです。いつも役立つ資料で、そばからサポートさせていただきます。

 

もっと見る

カリキュラム

全体

31件 ∙ (3時間 11分)

講座資料:

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

17件

4.2

17件の受講レビュー

  • alfred3211님의 프로필 이미지
    alfred3211

    受講レビュー 1

    ∙

    平均評価 5.0

    5

    受講進捗48%時点のレビュー

    リアルタイムデータ処理に興味があり受講しましたが、期待以上に有益な講義でした。

    • altoformula
      知識共有者

      こんにちは、アルフリード王様。 貴重なお時間を割いて、素敵なレビューをお寄せいただきありがとうございます。

  • jarvis2838님의 프로필 이미지
    jarvis2838

    受講レビュー 1

    ∙

    平均評価 5.0

    5

    受講進捗52%時点のレビュー

    Flinkに初めて触れたときは難しく感じましたが、講義を受けるうちに全体的な概念や動作原理を簡単に理解できるようになりました。

    • altoformula
      知識共有者

      こんにちは、ジャービスピョンさん。 貴重なお時間を割いて、素敵なレビューをお寄せいただきありがとうございます。

  • junyeonggoh1695님의 프로필 이미지
    junyeonggoh1695

    受講レビュー 2

    ∙

    平均評価 5.0

    5

    受講進捗100%時点のレビュー

    素早く概念や動作方法を理解することができた。

    • altoformula
      知識共有者

      こんにちは junyeong.goh様、 貴重なお時間を割いて素敵なレビューを残していただき、ありがとうございます。講義がお役に立てたようで嬉しいです。

  • ctk03277540님의 프로필 이미지
    ctk03277540

    受講レビュー 1

    ∙

    平均評価 5.0

    5

    受講進捗31%時点のレビュー

    • altoformula
      知識共有者

      こんにちは ctk0327様、 お時間を割いて素敵なレビューを残していただき、本当にありがとうございます。

  • sihoonylee5890님의 프로필 이미지
    sihoonylee5890

    受講レビュー 4

    ∙

    平均評価 4.5

    5

    受講進捗31%時点のレビュー

    • altoformula
      知識共有者

      こんにちは sihoony.lee様、 お時間を割いて素晴らしいレビューをいただき、本当にありがとうございます。

altoformulaの他の講座

知識共有者の他の講座はこちら

似ている講座

同じ分野の他の講座を見てみましょう!

新規会員登録で25%OFF

¥4,179

25%

¥5,569