inflearn logo
inflearn logo

シリコンバレーエンジニアと一緒に学ぶApache Flink

リアルタイムデータ処理、今や選択ではなく必須! Apache Flinkでリアルタイムストリーミングをスマートに扱ってみます。 バッチ?ストリーミング?複雑な概念も簡単に、素早く理解できます。 Kafka、DB連携まで直接やってみながら感覚を掴む実習中心の構成! データで動く世界、Flinkで先に始めてみませんか。

難易度 入門

受講期間 無制限

flink
flink
Big Data
Big Data
Data Engineering
Data Engineering
data-analysis
data-analysis
data-transformation
data-transformation
flink
flink
Big Data
Big Data
Data Engineering
Data Engineering
data-analysis
data-analysis
data-transformation
data-transformation

学習した受講者のレビュー

学習した受講者のレビュー

4.1

5.0

ADK123

100% 受講後に作成

Flinkは繰り返し見ないといけませんね😭

5.0

동그리

97% 受講後に作成

Apache Spark講義に続いてApache Flink講義も本当によく聞かせていただきました! Sparkで学んだ概念がFlinkでどのようにリアルタイムに拡張されるのか一目で理解することができ、 講師の方の説明がとても明確だったので複雑なストリーミング概念も簡単に理解できました。 実務にすぐ適用可能な例題が多くて大変助かりました 次の講義も期待しています!

5.0

백지훈

100% 受講後に作成

Apache Flinkについて聞いたことはありましたが、正確には分からなかったのですが、今回の機会に講義を通じて枠組みを固めることができたと思います。良い講義をありがとうございました。

受講後に得られること

  • リアルタイムデータストリーミングとバッチ処理の概念的違い

  • Flinkの核心構成要素とアーキテクチャの理解

  • Kafka、ファイルシステム、Flink連携実習

  • ウィンドウ、状態管理、チェックポイントなど実戦でよく使われる機能

🚀リアルタイムデータ処理の核心、Apache Flink 2.x 入門

  • データが溢れる時代、「リアルタイム処理」はもはや選択ではなく必須!

  • Apache Flinkは、Netflix、Uber、Alibabaのようなグローバル企業がすでに使用している、リアルタイムデータ処理の最高峰です。


  • 🧠 Flinkって何?
    マイクロバッチじゃなくて本当のリアルタイム!Flinkのアーキテクチャと核心概念を分かりやすく教えます。

  • リアルタイム vs バッチ、勝負だ
    どんな状況で何を使うべきか、2つの方式の違いとメリット・デメリットを実際の例で比較してみましょう。

  • 💬Kafkaとの相性抜群
    「Kafkaがデータを送信し、Flinkがリアルタイムで処理する!」この組み合わせ、実務で本当によく使われています。

  • 🌡実践体験:IoTセンサーデータ平均計算プロジェクト
    実際のデータを使って平均温度をリアルタイムで計算するプロジェクトを直接作ってみましょう。
    → Flinkが実践でどのように使われるのか、感覚がバッチリつかめます。

flink、ビッグデータ、データエンジニアリング、data-analysis、データトランスフォーメーション

Apache Flinkでレベルアップ!ストリーミング実践講座、今すぐ始めましょう!💪

🙌 こんな方におすすめです

📊 データはたくさんあるのに、何をどうすればいいかわからないです

リアルタイムデータストリーミングの流れを最初から最後まで掴みたい開発者

Kafkaは分かったけど、リアルタイム処理まで行ってみよう!

Kafkaでデータを受信しているが、それをリアルタイムで加工したい方

🔥 データエンジニアリング、私も一度真剣に学んでみようかな?

Python、Javaの基礎知識はあるが、実務経験はまだ不足している開発初心者

🎉 受講後はこのように変わります!

  • リアルタイムデータ処理の全体的な流れが見えます


    • Kafkaからデータを受け取り、Flinkでリアルタイム分析を行い、結果を外部システムに出力する全体フローを直接実装してみます。これでリアルタイムパイプラインが漠然としたものではなく、手に取るように理解できる構造になります。

  • イベント時間ベースの処理の概念が明確になります

    • Event Time、Watermark、Windowといった概念は、最初は混乱するかもしれません。この講義では、実際のデータを時間基準で処理しながら、時間概念がどのようにストリーミング処理に影響を与えるのか身をもって体感することになります。

  • ✅ ポートフォリオに掲載できる実践プロジェクトの成果物が得られます


    • 📌 "IoTセンサーデータリアルタイム分析ダッシュボード"

      • Kafkaでセンサーデータを受信

      • Flinkで平均温度を計算

      • リアルタイムで結果を出力および保存

📚このような内容を学びます

リアルタイムデータストリーミングの核心概念と構造理解

  • Apache Flink 2.xの基本アーキテクチャと動作原理

  • バッチ処理 vs ストリーミング処理方式の違い

  • イベント時間、ウィンドウ、ウォーターマークなど、リアルタイム処理のための核心概念

  • 状態(State)管理とCheckpointによる耐障害性の確保

Kafkaと連携した実践ストリーミングパイプライン構築

  • Kafkaからデータを受信 → Flinkで処理 → 外部に出力する全体フロー実習

  • IoTセンサーデータを活用した平均温度計算プロジェクト

🤔 何か気になることはありますか?

❓ Q1. Flinkという言葉を初めて聞いたのですが、完全初心者でも受講できますか?

A. はい!この講義はFlinkを一度も使ったことがない方でも十分についてこられるように構成されています。
最初はFlinkの基本構造と概念をゆっくり説明し、Kafkaとの連携過程も実習を通じて直接実践できるようにサポートします。
基礎からしっかり積み上げていくので心配しないでください!

❓ Q2. Kafkaについてよく知らないのですが、大丈夫でしょうか?

A. 心配しないでください!Kafkaも講義の流れの中で必要な部分だけ分かりやすく説明します。
Kafka自体を深く掘り下げる講義ではありませんが、リアルタイムデータフローを理解するのに必要な概念と設定は一緒に学べるように構成されています。
「Kafka + Flinkの組み合わせ」を実際に扱いながら、自然に両方の技術を結びつけて理解できます。

❓ Q3. 講義を受講すれば、実務ですぐに使えるようになりますか?

A. はい、実務にすぐ適用可能な例題と実習で構成されています。
例えば、IoTセンサーデータを受け取って平均温度をリアルタイムで計算するプロジェクトを一緒に作ってみます。これは単純な実習ではなく、
実際の現場でログ分析、モニタリング、アラームシステムなどに拡張適用できる構造です。
講義を終えると「これを私たちのサービスにどう適用できるか」イメージが見えるようになります

受講前の参考事項

実習環境

  • オペレーティングシステムおよびバージョン(OS): macOS、Linux、UbuntuなどのOS種類およびバージョン

  • 使用ツール:Docker

  • 使用言語:Python、Java

学習資料

  • PDF講義資料(各動画学習資料参照)およびコード資料を提供します。

前提知識と注意事項

  • 本講義は実習中心で構成されており、Docker環境でApache FlinkとKafkaを実行します。したがって、以下のような基礎知識をお持ちであれば、よりスムーズに受講していただけます😊

    • Javaの基本文法と使用法

    • Pythonの基本文法および使用法

    • (オプション) Apache Spark 基本情報

    • Docker及びDocker Composeの使用方法

  • もしDockerに慣れていない方は、私が作った無料Docker入門講座をおすすめします。
    👉 Docker無料講座を見に行く

  • 講義を開始した時点での最新バージョンである2.Xの文法で説明されています(1.Xの文法とは異なります)

  • 講義中に理解しにくい部分があったり、質問が生じた場合は、いつでもコメントで質問を残してください!
    私がアメリカ西部に住んでいるため、時差の関係で返信が多少遅れる可能性がある点、ご了承ください。
    できるだけ早く、正確にサポートいたします😊

こんな方に
おすすめです

学習対象は
誰でしょう?

  • ログ、トラフィック、センサーデータなどのリアルタイムデータ処理をやってみたいバックエンド開発者

  • Flink、Kafka等のストリーミングベース技術を実務に導入したいデータエンジニア

  • バッチ処理中心のデータパイプラインをストリーミングに転換しようとするチーム/会社にいる方

  • Sparkは使ったことがあるけれど、本当のリアルタイム処理を体験してみたい開発者

  • クラウドベースのリアルタイム分析システムに興味のある方

前提知識、
必要でしょうか?

  • Java基礎文法

  • Kafkaやメッセージキューに関する基本概念

  • Linux基本コマンドおよびDocker使用経験(選択事項)

こんにちは
altoformulaです。

21,068

受講生

1,065

受講レビュー

339

回答

4.8

講座評価

29

講座

韓国で終わらせるつもり?英語で世界市場を突き破れ! 🌍🚀

こんにちは。UC Berkeleyで💻コンピューター工学(EECS)を専攻し、シリコンバレーで15年以上ソフトウェアエンジニアとして働いてきました。現在はシリコンバレーのビッグテック本社でビッグデータとDevOpsを担当するStaff Software Engineerを務めています。 working with Big Data and DevOps at a Big Tech headquarters in Silicon Valley.

  • 🧭 シリコンバレーのイノベーションの現場で直接学んだ技術とノウハウを、オンライン講義を通じて皆さんと分かち合いたいと思います。

  • 🚀 技術革新の最前線で学び成長してきた私と共に、皆さんもグローバルな舞台で活躍できる力を身につけましょう!

  • 🫡 頭は良くありませんが、諦めずにコツコツと続ければ何事も成し遂げられるということを、ぜひお伝えしたいです。いつも役立つ資料で、そばからサポートさせていただきます。

 

もっと見る

受講レビュー

全体

11件

4.1

11件の受講レビュー

  • ctk03277540님의 프로필 이미지
    ctk03277540

    受講レビュー 1

    平均評価 5.0

    5

    31% 受講後に作成

    • altoformula
      知識共有者

      こんにちは ctk0327様、 お時間を割いて素敵なレビューを残していただき、本当にありがとうございます。

  • lzservice149004님의 프로필 이미지
    lzservice149004

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    • altoformula
      知識共有者

      こんにちは、キム・レジン様。 お忙しい中、素敵なレビューを残していただきありがとうございます!わぁ〜、Sparkに続いてFlinkもすぐに勉強されるのですか?きっと良い成果があるはずです!

  • abcd123123님의 프로필 이미지
    abcd123123

    受講レビュー 329

    平均評価 5.0

    5

    100% 受講後に作成

    Flinkは繰り返し見ないといけませんね😭

    • altoformula
      知識共有者

      こんにちは、ADK123さん、 Flinkは公式サイトでも資料がごちゃごちゃしていて、作るのにとても苦労しました。近いうちに補講をアップロードいたします。

  • sihoonylee5890님의 프로필 이미지
    sihoonylee5890

    受講レビュー 3

    平均評価 5.0

    5

    31% 受講後に作成

    • altoformula
      知識共有者

      こんにちは sihoony.lee様、 お時間を割いて素晴らしいレビューをいただき、本当にありがとうございます。

  • seungjoonl8216680님의 프로필 이미지
    seungjoonl8216680

    受講レビュー 2

    平均評価 5.0

    5

    97% 受講後に作成

    Apache Spark講義に続いてApache Flink講義も本当によく聞かせていただきました! Sparkで学んだ概念がFlinkでどのようにリアルタイムに拡張されるのか一目で理解することができ、 講師の方の説明がとても明確だったので複雑なストリーミング概念も簡単に理解できました。 実務にすぐ適用可能な例題が多くて大変助かりました 次の講義も期待しています!

    • altoformula
      知識共有者

      こんにちは、동그리さん、 Sparkに続いてFlinkの講義も受講していただき、またお役に立てたとのことで何よりです。お時間を割いて良いレビューを残していただき、ありがとうございます。

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!

¥5,501