BEST

Airflow Master Class

Name: Airflow Master Class
Price: 108900 KRW

This is a course to learn about Airflow, an Orchestration tool for efficiently building and managing data pipelines. Welcome to the Airflow Master Class, where even beginners can learn step-by-step!

(4.9) 48 reviews

922 learners

이론 실습 모두

데이터-엔지니어링

데이터파이프라인

airflow

Data Engineering

Python

kakao-tech

Reviews from Early Learners

What you will learn!

Airflow Concepts and Basics
Airflow-based Pipeline Development
Sending Automated Emails with Airflow
Airflow-based Public Data API Calls and Visualization
Airflow & Kakao, Slack for Message Alarm
Utilizing ChatGPT with Airflow

Data Pipeline, No More Worries with Airflow 📊

Everything you need to know about Airflow for beginners

I heard you use Airflow a lot, but what is Airflow?
What can you do with Airflow?
How do I create a pipeline with Airflow?
How do I integrate with other solutions and extract and store data?
How do I integrate messengers like KakaoTalk and Slack with Airflow?
Is it possible to automatically write blog posts using ChatGPT in conjunction with Airflow?

👉 It covers everything from the basic concepts of Apache Airflow to the architecture configuration that can operate in a large-scale environment.

Update completed (~Airflow 3.0)

Introducing UI changes
Dag Bundle
Dag Versioning
From Dataset to Asset
Architecture Changes and REST API V2

Update completed (~Airflow 2.10.5)

Added Task Setup & Teardown function (ver 2.6)
DAG Params feature description & UI Form introduction (ver 2.6)
Added Object Storage Path feature (ver 2.8)
Dynamic Task Mapping feature description & Index Naming feature added (ver 2.9)
Added Task Bash Decorator (ver 2.9)
Object Storage as a Xcom Backend (ver 2.9)
Multiple Executor (ver 2.10)
Dataset Metadata (ver 2.10)
Dataset Alias (ver 2.10)

👉 About 80 practice files can be downloaded from Github .

But why Airflow?

Airflow is a core orchestration solution that creates and manages data pipelines that extract, process, store, and analyze data.

Airflow is the most popular pipeline management tool among similar solutions, and its adoption continues to grow.

I recommend this course to these people

_{Anyone who wants to be a data engineer}

_{Anyone who needs data pipelines or business automation}

_{For those who are using Airflow but want to learn more}

What can you learn?

Airflow Basics

You will learn the basics of Airflow, including the concepts and how to create workflows, through hands-on practice. It is organized so that you can learn step by step with about 60 practice files.

Pipeline Configuration

Learn how to develop and run a DAG pipeline using Airflow, including sending emails with scheduling management.

Data collection

Let's configure a pipeline that receives and stores data via API from the Seoul Metropolitan Government Public Data Portal.

Monitoring and Integration

We will practice receiving alarms such as error messages and DAG status by linking with messenger apps such as KakaoTalk and Slack.

Data Visualization

We introduce the concept of R Shiny, which can be used for visualization using the R language. We will proceed with visualization using data received from the Seoul Public Data Portal.

Architecture

Learn about Airflow's different deployment approaches and architectures, and how to operate reliably in high-volume environments.

Automation of business

Introduce the concept of ChatGPT and learn how to connect Python API and ChatGPT. Practice automation by automatically posting to your blog the content introduced by ChatGPT about stocks that are rising rapidly through the method of retrieving stock information with Python.

Before taking the course, it would be good to know the following ✨

1. Basic knowledge of Python

Airflow creates pipelines in Python, so you should have some knowledge of Python.
However, it does not require too much knowledge. If you are familiar with basic control syntax such as for, if, while, and lists and dictionaries, you can follow along.
The latter half will cover class inheritance and other topics, but don't worry too much. I'll explain everything and move on.

2. Docker and Docker Compose

The basic training environment is WSL on Windows.
And Airflow is installed using Docker and various practical exercises are performed using Docker Compose, so it will be easy if you know how to handle Docker.
But don't worry about that either. We'll teach you everything you need to know about Docker and how to use it.

3. SQL

It would be helpful to know basic SQL syntax (SELECT ... FROM ... WHERE).
We will explain all the SQL grammar that frequently appears during the practical training.

Please check the practice environment ✨

We recommend that the PC or laptop you will practice on has at least 8GB of memory .
Since Airflow cannot be installed directly on Windows, we will basically install and practice Airflow using Windows' WSL. (I will explain the entire WSL installation process 😊)
Those using macOS can take the course without any special preparation.

Q&A 💬

Q. How are the lectures conducted?

In Airflow, workflow is called DAG , and we will practice by creating DAG together. Except for the time explaining the basic concepts, we will basically practice in each chapter.
If the practice file is long, I create a DAG file in advance and proceed by explaining the logic.

Q. Can I download practice files and study materials?

Of course! You can get all the practice files from Github . Not sure how to use Git? We'll teach you how to use Git too.
We also provide all PDF-based learning materials. You can download them from Section 0 - Download Lecture Materials.

Q. How difficult is the practical training?

In the beginning, you can understand it by just knowing the basic grammar of Python, but as you progress to the latter part, the difficulty level can be a little difficult, so it will be helpful to know concepts such as Python classes and inheritance. But don't worry. The practical content will be explained sufficiently and you will proceed.

Q. What can I do if I learn Airflow?

Bash Shell, anything you can do with Python, you can do. If you're wondering if something can be done with Airflow, first find out if it can be done with Bash Shell or Python. If you can do it with Bash Shell or Python, you can do it with Airflow.

Recommended for
these people

Who is this course right for?

Those who want to learn about Data Engineers
Those curious about Airflow
Airflow users not utilizing it well
Requiring data pipeline setup and management.

Need to know before starting?

Python Fundamentals
Docker & Docker Compose Usage
SQL Basic Syntax(SELECT, FROM)

Hello
This is

1,106

Learners

Reviews

198

Answers

4.9

Rating

Courses

안녕하세요.

데이터 & AI 분야에서 일하고 있는 15년차 현직자입니다.

정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고자 컨텐츠 제작하고 있습니다.

반갑습니다. :)

Contact: hjkim_sun@naver.com

Co-instructor

Curriculum

All

107 lectures ∙ (24hr 56min)

Course Materials:

Lecture resources

Section 1. Airflow Introduction

3 lectures ∙ (19min)

Section 2. Airflow Installation

7 lectures ∙ (1hr 25min)

4. WSL installation
16:44
5. Docker & Airflow Installation
17:18
6. Development Environment Setup (Overall Description, Specification Description)
04:52
7. Development Environment Setup (Python Interpreter Installation)
05:58
8. Development Environment Setup (Vscode Installation)
11:39
9. Development environment setup (create github and push, pull)
22:54
10. Airflow library installation
05:50

Section 3. Operator Basic

6 lectures ∙ (1hr 26min)

11. Airflow 3.0 Update Course Information
04:11
12. Creating Bash operator DAG & DAG directory setting
24:12
13. cron schedule explanation
08:54
14. Connecting tasks
13:32
15. Bash Operator & Executing External Shell Files
23:50
16. Sending email using Email Operator
11:30

Section 4. Python operator

6 lectures ∙ (1hr 2min)

Section 5. Template Variable

6 lectures ∙ (1hr 15min)

Section 6. Data Sharing

5 lectures ∙ (56min)

Section 7. Advanced Task Handling

6 lectures ∙ (55min)

Section 8. More Operator

6 lectures ∙ (1hr 32min)

Section 9. Connection & Hook

6 lectures ∙ (1hr 56min)

Section 10. Sensor

6 lectures ∙ (1hr 22min)

Section 11. More Airflow features

7 lectures ∙ (1hr 45min)

Section 12. Practical 1: Data Visualization with Rshiny

2 lectures ∙ (28min)

Section 13. Practice 2_Receiving Alerts with Messengers (KakaoTalk & Slack)

5 lectures ∙ (1hr 17min)

Section 14. Airflow management

3 lectures ∙ (50min)

Section 15. Lab 3_Monitoring with Slack&Email

3 lectures ∙ (38min)

Section 16. Airflow Architecture

5 lectures ∙ (1hr 34min)

Section 17. Lab 4_Work Automation with chatGPT

4 lectures ∙ (1hr 19min)

Section 18. Airflow Update (~2.10.5)

11 lectures ∙ (2hr 36min)

Section 19. Airflow Update (~3.0)

10 lectures ∙ (2hr 11min)

Published:

Last updated:

Reviews

All

48 reviews

4.9

48 reviews

dj9610249659
Reviews 1
∙
Average Rating 5.0
5
13% enrolled
周りにデータエンジニアの勉強を始めた人がいたら、無条件にお勧めしたいと思います。（非専攻者の立場から）データエンジニアの勉強を始めるとき、gitも知る必要があり、Linuxも知る必要があり、Pythonも知る必要があり、airflowも知っておくと良いのですが、それぞれどのくらい知っておくべきかわからず、混乱に陥った時間が長かったです。今回の講義を聞きながら、airflowに必要なgitとLinuxの基礎もある程度学ぶことができて良かったし、また以後DAG実習も豊富だと知っていてかなり期待になります。一生懸命受講してタイトル通りにエアフローマスターするようにします！その後もデータエンジニア講義をリリースしていただければ、ぜひ聴きたいです！
- dj9610249659
  そして本当に些細な部分も親切に説明してくれてとても良いです。これまで入ってきた講義の中で一番満足です！
- hyunjinkim
  Instructor
  こんにちはdj961024 感動の受講評ありがとうございます^_^ なんでもそうだが基本原理理解が一番大事だと信じる人としてどうすれば概念を簡単に理解できるか悩みをたくさんしました。おかげで助けがたくさんあったなんてとても嬉しいですね。受講中に気になることがあれば、いつでもお問い合わせください。
everythx
Reviews 10
∙
Average Rating 5.0
5
78% enrolled
必須講義でしたが満足です！ airflowはバージョンアップ時に新しい機能が新しくなりましたが、そのような機能もアップデートしていただければ幸いです。
- hyunjinkim
  Instructor
  everythxさんありがとうございます。私も会社員だから、余裕がよくなくてすぐにはできませんが、ぜひアップデート進行するようにします。提案していただきありがとうございます^^
kimbyl
Reviews 2
∙
Average Rating 5.0
5
100% enrolled
Airflow初級コースですが、深くお知らせいただきありがとうございます。ありがとうございます。
- hyunjinkim
  Instructor
  Buing-ryul さんのレビュー助けてくれたなんて私も気持ちいいですね＾＾現業でもよく使うことを願っています。
jihoon8243
Reviews 1
∙
Average Rating 5.0
5
100% enrolled
最高の講義
- hyunjinkim
  Instructor
  こんにちはイ・ジフン短いけど強力なレビューありがとうございます。 100プロを受講しました。
ahnbm8781
Reviews 1
∙
Average Rating 4.0
4
100% enrolled
AIRFLOWの機能を様々な実習を通じて簡単に理解できました
- hyunjinkim
  Instructor
  こんにちはahn.bmさん受講坪登録ありがとうございます。もし不満足な部分があるのでしょうか？提案していただければ反映してみましょう。どうぞよろしくお願いします。

Limited time deal

$12,831.00

24%

$112.20

hyunjinkim's other courses

Check out other courses by the instructor!

Kafka & Spark を活用したリアルタイムデータレイク

hyunjinkim

初心者のための Kafka & Spark リアルタイムパイプライン入門講座。コアコンセプトからアーキテクチャまでマスターするためのオールインワン講座です。

Basic

Kafka, Apache Spark, pyspark

Kafka & Spark を活用したリアルタイムデータレイク

hyunjinkim

Similar courses

Explore other courses in the same field!

シリコンバレーのデータリーダーが教えるAirflowの基礎

keeyonghan9539

AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

Basic

airflow, snowflake, SQL

シリコンバレーのデータリーダーが教えるAirflowの基礎

keeyonghan9539

データ入門者のためのAzureデータ基礎完全攻略

daniellee

Microsoft AZ-900資格を同時に目指し、理論的土台を築く特講であり、2025年5月基準の出題範囲を反映した最新コンテンツとして、コアデータ概念、Azureのリレーショナルデータ、Azureの非リレーショナルデータ、Azureの分析ワークロード関連内容を、理論と実習を兼ねた形で提供することで、資格取得はもちろん、データ専門家への第一歩を踏み出す有意義な教育機会として活用可能です。

Beginner

SQL, Big Data, Data Engineering

データ入門者のためのAzureデータ基礎完全攻略

daniellee

[デブウォニョン] Apache Kafka for beginners

dvwy

Apache Kafkaとは何ですか？ Apache Kafkaはどのように機能しますか？ Apache Kafkaの概念は何ですか？気になる場合は、この講義を選択してください😎

Basic

Kafka, Data Engineering

[デブウォニョン] Apache Kafka for beginners

dvwy

シリコンバレーエンジニアと一緒に学ぶApache Flink

altoformula

リアルタイムデータ処理、今や選択ではなく必須！ Apache Flinkでリアルタイムストリーミングをスマートに扱ってみます。バッチ？ストリーミング？複雑な概念も簡単に、素早く理解できます。 Kafka、DB連携まで直接やってみながら感覚を掴む実習中心の構成！データで動く世界、Flinkで先に始めてみませんか。

Beginner

flink, Big Data, Data Engineering

シリコンバレーエンジニアと一緒に学ぶApache Flink

altoformula

アルゴリズムトレーディングの秘密、AIが株価を当てる方法

cheatkeylab

40種類以上の経済指標と株価データをAIで分析し、S&P 500、QQQ ETFだけでなく個別銘柄まで予測する強力な株価分析モデルをご自身で作ってみましょう！

Basic

Deep Learning(DL), Python, transformer

アルゴリズムトレーディングの秘密、AIが株価を当てる方法

cheatkeylab

ElasticSearch Essential

alden

ElasticSearch クラスターを運営するために必ず知っておく必要がある内部動作の理解、監視方法、事例に基づくトラブルシューティング方法を教える講義です。このレッスンにより、ElasticSearchクラスタをより確実に運用できます。

Basic

Elasticsearch, kakao-tech

ElasticSearch Essential

alden

[リニューアル] 初めてのMongoDB(モンゴDB) と NoSQL(ビッグデータ) データベースブートキャンプ [入門から活用まで] (アップデート)

funcoding

最新のスタートアップで活用されるフルスタックとデータサイエンス技術の基本技術の一つであるビッグデータを扱うことができるNoSQL技術を習得します。MongoDBはNoSQLの中でも最も簡単で迅速に活用できる技術です。本講座では短時間でMongoDBの基礎を習得し、PythonでMongoDBを操作し活用できる技術まで学習します。

Basic

Python, MongoDB, DBMS/RDBMS

[リニューアル] 初めてのMongoDB(モンゴDB) と NoSQL(ビッグデータ) データベースブートキャンプ [入門から活用まで] (アップデート)

funcoding

mongoDB基礎から実務まで（feat. Node.js）

sihoon

mongoDB、NoSQLは最近多く聞こえますが、まだ見知らぬデータベースですか？リレーショナルデータベース（RDS / SQL）のように使用していませんか？いくら良い技術も正しく使用しないと逆効果が発生します。だからモンゴディビの使用失敗事例もしばしば見えます。このレッスンでは、mongoDBをできるだけmongoDBで使用できるように、基本概念から実務ノウハウまで教えていきます。

Basic

MongoDB, REST API, Node.js

mongoDB基礎から実務まで（feat. Node.js）

sihoon

知らないと退職レベル？データエンジニアリングの定石

altoformula

データ時代、真の価値を発見せよ！📊 データに集中したアプリケーション設計は、もはや必須となりました。最新トレンドと実務中心の事例で、会社が求めるインサイトと実力を身につけましょう。効率的なデータ処理と設計の秘訣、今すぐ始めましょう！あなたの次のステップ、データ中心の世界へ飛躍しましょう！

Basic

Big Data, Data Engineering, Architecture

知らないと退職レベル？データエンジニアリングの定石

altoformula

データ分析 SQL Fundamentals

dooleyz3525

SQL の基本要素に関する詳細な講義と実習を通じて、揺るぎない骨組みを作り、SQL 分析の専門家として成長できるようにサポートします。

Basic

SQL, PostgreSQL, DBMS/RDBMS

データ分析 SQL Fundamentals

dooleyz3525

Airflow Master Class

Reviews from Early Learners

What you will learn!

Everything you need to know about Airflow for beginners

Update completed (~Airflow 3.0)

Update completed (~Airflow 2.10.5)

I recommend this course to these people

What can you learn?

Before taking the course, it would be good to know the following ✨

Please check the practice environment ✨

Q&A 💬

Recommended for these people

HelloThis is .css-1q3zd4q{text-decoration-line:underline;text-underline-position:under;text-underline-offset:1px;}

Curriculum

Reviews

hyunjinkim's other courses

Similar courses

Recommended for
these people

Hello
This is