inflearn logo
知識共有
inflearn logo

Airflow完全ガイド - Part 1

本講義は、Apache Airflowの核心的なメカニズムからDAG、Operator、Hook、Scheduling、Timezone、冪等性、Templateまで、詳細な理論と実習で構成されています。Airflowが「なぜこのように動作するのか」を理解し、自らデータパイプラインを設計・デバッグできるようになることを目指す、実践中心のAirflowマスターコースです。

25名 が受講中です。

難易度 中級以上

受講期間 無制限

Data Engineering
Data Engineering
airflow
airflow
orchestration
orchestration
Data Engineering
Data Engineering
airflow
airflow
orchestration
orchestration

受講後に得られること

  • Airflow主要コンポーネントの核となる動作メカニズムの理解

  • Operator、Hook、TaskFlow APIの役割と内部動作構造の理解

  • 様々なタイプのOperator(Bash、Http、SQL、S3)の使用方法

  • API、SQL、Object Storageを活用した実践データパイプラインの構築

  • 再実行、タイムゾーンエラー、catchup/backfillの混同など、実務運用における問題解決能力の確保

  • べき等性を考慮した安定的なパイプライン設計能力

  • インターバルベースのスケジュールと実行時点ベースのスケジュールの違いを明確に理解

  • 実務でAirflowを設計・運用できるレベルへの到達

データパイプラインをこれ一つで完結!Airflowマスタークラス

データパイプラインの複雑さを明確に理解し、自ら設計からデバッグまで可能にする
実践中心のAirflowマスターコースです。


自分で作ったデータパイプライン、なぜどんどん複雑になっていくのでしょうか?
なぜ一つの問題を解決するのに半日もかかるのでしょうか?

Airflowのスケジュールが狂い、夜中に緊急連絡を受けた経験はありませんか?

データが重複して蓄積され、複雑な前処理に頭を悩ませたことはありませんか?

本講義はPart 1の講義であり、Part 2の講義は2026年6月中旬に別途リリース予定です。Part 2の講義では、Sensor、Asset、動的TaskマッピングとTask Group、Notification、その他多様なOperatorやHookなどを扱う予定です。

本講義は、最新(講義リリース時点)バージョンであるAirflow 3.1バージョンで理論と実習を進行します。


Airflowの核心的な動作原理から
多様なOperatorとHookの活用法まで


データパイプラインを「自ら」設計し、「運用まで可能なエンジニア」へと成長させてあげます。



この講義が終わる頃には、皆さんは

Airflowの「なぜ?」という問いに対して、明確な答えを見つけることができます。

  • Airflowの核心メカニズムからDAG、Operator、Hook、Scheduling、Timezone、冪等性、Templateまで、詳細な理論と実習を通じて、Airflowが「なぜこのように動作するのか」を深く理解できるようサポートします。これにより、自らデータパイプラインを設計し、デバッグする実戦的な能力を養うことができます。

実務で認められる卓越したAirflow問題解決能力を身につけることができます

  • 実行日と実際の実行時点の差、タイムゾーンのエラー、リトライとべき等性の関係、catchupとbackfillの動作方式など、Airflowの運用中に頻繁に発生する問題を構造的に理解し解決します。実習と理論を通じて内部の動作原理を明確に把握することで、単なる対応ではなく、根本原因の除去や再発防止の設計までが可能になります。

自信を持って安定したデータパイプラインを自ら設計・構築します。

  • SQL、API、Object Storageなど、多様な環境を繋ぐ実践的なデータパイプラインを自ら構築することでAirflowへの自信を深めることができます。また、データの重複ロードや処理の失敗といった予測不可能な状況でもシステムの安定性を維持できるよう、べき等性(Idempotency)を考慮したパイプラインの設計・構築能力を養います。

Airflowのエキスパートへと成長します。

  • 実際の運用環境で必ず知っておくべき実践的な内容で講義を構成しました。単にAirflowの使い方を習得するだけでなく、講義修了後にはチーム内でAirflowに関する質問に自信を持って答え、複雑なデータパイプラインを正常に設計・運用できる実務のスペシャリストへと成長できます。



📚

理論と実習を通じて
Airflowの動作原理をマスターする


Airflowは難しくありません。本講義と一緒なら、

Airflowの基本概念を確実に習得し、OperatorやHook、スケジューリング、Templateまで、初心者から経験者まであらゆるレベルに適した段階的な学習を提供します。


Airflowの基礎 01 ~ 02

  • Airflowの核心構成要素であるDAG、Task、Task間の依存関係の定義、そしてTask間のデータ伝送メカニズムであるXComについて詳細に学習します。また、TaskFlow APIベースのDAG、Airflowの主要コンポーネントの役割、自動リトライ(retries)、Clear機能を通じたTaskとDAG Runの再実行、Airflow Contextなどを学習しながら、Airflowの動作メカニズムを明確に理解します。


BashおよびHTTP Operatorの活用

Bash Operatorを使用してシェルスクリプトを実行し、HTTP Operatorを通じて外部APIと連携する方法を実習します。多様な外部システムとの統合基盤を固めます。


SQL OperatorとHookを活用したデータベース連携

MySQLおよびPostgreSQLデータベースに接続してSQLクエリを実行する方法を学習します。データベースベースのデータ処理パイプライン構築能力を強化します。


S3 OperatorとHookを活用したオブジェクトストレージ連携 (MinIO)

MinIOを利用したS3互換オブジェクトストレージとの連携方法を実習します。クラウドストレージベースのデータ管理および処理パイプラインを構築する上で必須となる内容です。


Airflow スケジューリング 01 ~ 02

Airflowで最も混同しやすいインターバル(Interval)ベースのスケジューリングとタイムゾーンの動作、そして周期的に実行されるDAGのべき等性を維持する方法を明確に理解できるよう、豊富な理論と実習を用意しました。また、catchup、backfill、そして最新のCron式やTimetableベースのPoint-In-Timeスケジューリングについても詳しく解説します。


Airflow テンプレート機能

AirflowのJinjaテンプレートを活用して、動的なワークフローを構成する方法を学習します。これにより、OperatorおよびDAGをより柔軟かつ効率的に作成できるようになります。


このような方々の悩みを
解決できます!

📌

実務に携わるジュニアデータエンジニア

Airflow DAGがなぜ特定の時間に実行されるのか、あるいは重複して実行されるのかを明確に理解できず、運用中に困っている方
実行中のDAGをデバッグしながら、問題の根本原因を把握することに難しさを感じている方

📌

データパイプラインの経験が少ないバックエンドエンジニア

バッチ作業の自動化やデータ処理のためにAirflowを導入したものの、
Operator、Hook、Schedulingなどの核心的な概念を深く理解できておらず、活用に限界を感じている方

📌

Airflowの運用経験がある中級データエンジニア

べき等性の保証、リトライロジックの実装、タイムゾーン設定のエラーなど、Airflowの運用中に発生する様々な問題を効果的に解決し、
より安定かつ効率的なデータパイプラインを設計したい方

受講前のご注意事項


実習環境 💾

実習構成環境の仕様

  • オペレーティングシステム(OS):実習はWindows環境で進行しますが、Macでも問題なく実行可能です。


  • PCスペック:Docker、Docker Desktop、VSCodeをインストールするために、インターネット接続が可能で6GB以上のRAMを搭載したPCが必要

  • AirflowはAstro CLIを利用してDockerコンテナとしてインストールします。Airflowのバージョンは3.1です。

学習資料

  • 講義資料は講義内でダウンロードいただけます。

  • 実習資料はhttps://github.com/chulminkw/airflow_part_01 からダウンロードいただけます。実習コードをご覧いただければ、講義の受講に必要なPythonとSQLのレベルをあらかじめ確認することができます。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • Airflowを使っているけれど、なぜこのように動作するのか分からないすべての人へ

  • ジュニア〜中堅データエンジニア

  • データエンジニアへの転向を目指すバックエンドエンジニア(バッチ・データ処理担当者)

  • (本講義でAIを直接扱うわけではありませんが)MLOpsのためのデータパイプラインを構築する必要があるAIエンジニア

  • Airflowを「正しく」学びたいすべての実務者

前提知識、
必要でしょうか?

  • PythonおよびSQLの基本活用能力

こんにちは
dooleyz3525です。

27,629

受講生

1,476

受講レビュー

4,057

回答

4.9

講座評価

15

講座

(元) エンコアコンサルティング

(元) 韓国オラクル

AIフリーランスコンサルタント

『Python機械学習完璧ガイド』著者

もっと見る

カリキュラム

全体

124件 ∙ (20時間 54分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価を受けていない講座です。
みんなの役に立つ受講レビューを書いてください!

dooleyz3525の他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!

期間限定セール

¥5,156

38%

¥8,357