내일은 한걸음 더 나아갈거야

본 강의는 Apache Airflow의 핵심 메커니즘과 DAG, Operator, Hook, Scheduling, Timezone, 멱등성, Template까지 상세한 이론과 실습으로 구성하여 Airflow가 “왜 이렇게 동작하는가”를 이해하고 스스로 데이터 파이프라인을 설계·디버깅할 수 있게 만드는 실전 중심 Airflow 마스터 과정입니다.

권 철민

Airflow 완벽 가이드 - Part 1

apache-airflow

Data Engineering

데이터 엔지니어링

datapipeline

本講義は、Apache Airflowの核心的なメカニズムからDAG、Operator、Hook、Scheduling、Timezone、冪等性、Templateまで、詳細な理論と実習で構成されています。Airflowが「なぜこのように動作するのか」を理解し、自らデータパイプラインを設計・デバッグできるようになることを目指す、実践中心のAirflowマスターコースです。

dooleyz3525

입문

초급

중급이상

airflow

orchestration

Airflow完全ガイド - Part 1

講義紹介および実習環境の構築

Airflowの基本 - DAG、タスク、依存関係、XCom

Airflowの基本 - TaskFlow API、リトライ (retries)、クリア (Clear)、コンテキスト (Context)、シリアル化 (Serialization)

OperatorとHookの扱い - Bash, HTTP

OperatorとHookの扱い - SQL(MySQL, PostgreSQL)

OperatorとHookの扱い - S3(MinIO)

Scheduling - Intervalベース、タイムゾーン、冪等性の設計

Scheduling - catchup, backfill, Cron, Timetable, Point-in-Timeベース

テンプレーティング

おわりに...