![[改訂版] Python機械学習完全ガイド講義サムネイル](https://cdn.inflearn.com/public/courses/324238/cover/7e380aa0-48ba-4ee7-a6b2-8da7900568d6/324238-eng.png?w=420)
[改訂版] Python機械学習完全ガイド
dooleyz3525
理論中心の機械学習講座から脱却し、機械学習の核心的な概念を簡単に理解できるだけでなく、実践的な機械学習アプリケーションの実装能力を身につけることができます。
初級
Python, Machine Learning(ML), Statistics
本講義は、Apache Airflowの核心的なメカニズムからDAG、Operator、Hook、Scheduling、Timezone、冪等性、Templateまで、詳細な理論と実習で構成されています。Airflowが「なぜこのように動作するのか」を理解し、自らデータパイプラインを設計・デバッグできるようになることを目指す、実践中心のAirflowマスターコースです。
受講生 102名
難易度 中級以上
受講期間 無制限


Airflow主要コンポーネントの核となる動作メカニズムの理解
Operator、Hook、TaskFlow APIの役割と内部動作構造の理解
様々なタイプのOperator(Bash、Http、SQL、S3)の使用方法
API、SQL、Object Storageを活用した実践データパイプラインの構築
再実行、タイムゾーンエラー、catchup/backfillの混同など、実務運用における問題解決能力の確保
べき等性を考慮した安定的なパイプライン設計能力
インターバルベースのスケジュールと実行時点ベースのスケジュールの違いを明確に理解
実務でAirflowを設計・運用できるレベルへの到達
データパイプラインの複雑さを明確に理解し、自ら設計からデバッグまで可能にする
実践中心のAirflowマスターコースです。
自分で作ったデータパイプライン、なぜどんどん複雑になっていくのでしょうか?
なぜ一つの問題を解決するのに半日もかかるのでしょうか?
Airflowのスケジュールが狂い、夜中に緊急連絡を受けた経験はありませんか?
データが重複して蓄積され、複雑な前処理に頭を悩ませたことはありませんか?
本講義は、最新(講義リリース時点)バージョンであるAirflow 3.1バージョンで理論と実習を進行します。
データパイプラインを「自ら」設計し、「運用まで可能なエンジニア」へと成長させてあげます。
Airflowの「なぜ?」という問いに対して、明確な答えを見つけることができます。
Airflowの核心メカニズムからDAG、Operator、Hook、Scheduling、Timezone、冪等性、Templateまで、詳細な理論と実習を通じて、Airflowが「なぜこのように動作するのか」を深く理解できるようサポートします。これにより、自らデータパイプラインを設計し、デバッグする実戦的な能力を養うことができます。
実務で認められる卓越したAirflow問題解決能力を身につけることができます
実行日と実際の実行時点の差、タイムゾーンのエラー、リトライとべき等性の関係、catchupとbackfillの動作方式など、Airflowの運用中に頻繁に発生する問題を構造的に理解し解決します。実習と理論を通じて内部の動作原理を明確に把握することで、単なる対応ではなく、根本原因の除去や再発防止の設計までが可能になります。
自信を持って安定したデータパイプラインを自ら設計・構築します。
SQL、API、Object Storageなど、多様な環境を繋ぐ実践的なデータパイプラインを自ら構築することでAirflowへの自信を深めることができます。また、データの重複ロードや処理の失敗といった予測不可能な状況でもシステムの安定性を維持できるよう、べき等性(Idempotency)を考慮したパイプラインの設計・構築能力を養います。
Airflowのエキスパートへと成長します。
実際の運用環境で必ず知っておくべき実践的な内容で講義を構成しました。単にAirflowの使い方を習得するだけでなく、講義修了後にはチーム内でAirflowに関する質問に自信を持って答え、複雑なデータパイプラインを正常に設計・運用できる実務のスペシャリストへと成長できます。
Airflowの基本概念を確実に習得し、OperatorやHook、スケジューリング、Templateまで、初心者から経験者まであらゆるレベルに適した段階的な学習を提供します。
Airflowの核心構成要素であるDAG、Task、Task間の依存関係の定義、そしてTask間のデータ伝送メカニズムであるXComについて詳細に学習します。また、TaskFlow APIベースのDAG、Airflowの主要コンポーネントの役割、自動リトライ(retries)、Clear機能を通じたTaskとDAG Runの再実行、Airflow Contextなどを学習しながら、Airflowの動作メカニズムを明確に理解します。
Bash Operatorを使用してシェルスクリプトを実行し、HTTP Operatorを通じて外部APIと連携する方法を実習します。多様な外部システムとの統合基盤を固めます。
MySQLおよびPostgreSQLデータベースに接続してSQLクエリを実行する方法を学習します。データベースベースのデータ処理パイプライン構築能力を強化します。
S3 OperatorとHookを活用したオブジェクトストレージ連携 (MinIO)
MinIOを利用したS3互換オブジェクトストレージとの連携方法を実習します。クラウドストレージベースのデータ管理および処理パイプラインを構築する上で必須となる内容です。
Airflowで最も混同しやすいインターバル(Interval)ベースのスケジューリングとタイムゾーンの動作、そして周期的に実行されるDAGのべき等性を維持する方法を明確に理解できるよう、豊富な理論と実習を用意しました。また、catchup、backfill、そして最新のCron式やTimetableベースのPoint-In-Timeスケジューリングについても詳しく解説します。
AirflowのJinjaテンプレートを活用して、動的なワークフローを構成する方法を学習します。これにより、OperatorおよびDAGをより柔軟かつ効率的に作成できるようになります。
Airflow DAGがなぜ特定の時間に実行されるのか、あるいは重複して実行されるのかを明確に理解できず、運用中に困っている方
実行中のDAGをデバッグしながら、問題の根本原因を把握することに難しさを感じている方
バッチ作業の自動化やデータ処理のためにAirflowを導入したものの、
Operator、Hook、Schedulingなどの核心的な概念を深く理解できておらず、活用に限界を感じている方
べき等性の保証、リトライロジックの実装、タイムゾーン設定のエラーなど、Airflowの運用中に発生する様々な問題を効果的に解決し、
より安定かつ効率的なデータパイプラインを設計したい方
オペレーティングシステム(OS):実習はWindows環境で進行しますが、Macでも問題なく実行可能です。
PCスペック:Docker、Docker Desktop、VSCodeをインストールするために、インターネット接続が可能で6GB以上のRAMを搭載したPCが必要
AirflowはAstro CLIを利用してDockerコンテナとしてインストールします。Airflowのバージョンは3.1です。
講義資料は講義内でダウンロードいただけます。
実習資料はhttps://github.com/chulminkw/airflow_part_01 からダウンロードいただけます。実習コードをご覧いただければ、講義の受講に必要なPythonとSQLのレベルをあらかじめ確認することができます。
学習対象は
誰でしょう?
Airflowを使っているけれど、なぜこのように動作するのか分からないすべての人へ
ジュニア〜中堅データエンジニア
データエンジニアへの転向を目指すバックエンドエンジニア(バッチ・データ処理担当者)
(本講義でAIを直接扱うわけではありませんが)MLOpsのためのデータパイプラインを構築する必要があるAIエンジニア
Airflowを「正しく」学びたいすべての実務者
前提知識、
必要でしょうか?
PythonおよびSQLの基本活用能力
27,969
受講生
1,507
受講レビュー
4,070
回答
4.9
講座評価
15
講座
(元) エンコアコンサルティング | (元) 日本オラクル | 『Python機械学習完璧ガイド』著者
AIフリーランスコンサルタント
全体
124件 ∙ (20時間 54分)
講座資料(こうぎしりょう):
1. 講義紹介
07:38
2. 実習環境構成の概要
10:38
15. セクションの概要
01:38
16. Airflowの概要とメリット
11:17
17. Airflowのデメリット
06:59
26. XComの理解
06:35
29. Xcomの扱い(辞書の値)
06:01
全体
2件
5.0
2件の受講レビュー
受講レビュー 8
∙
平均評価 3.5
修正済み
5
本当に素晴らしい講義です。Airflowを初めて学ぶ方は必見です!!!
わあ、初めての受講レビューに、高い評価までいただき本当にありがとうございます ^^
受講レビュー 31
∙
平均評価 4.8
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!