Airflow ๋ง์คํฐ ํด๋์ค
๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ํจ์จ์ ์ผ๋ก ๋ง๋ค๊ณ ๊ด๋ฆฌํ๊ธฐ ์ํ Orchestration ๋๊ตฌ์ธ Airflow์ ๋ํด ๋ฐฐ์ฐ๋ ๊ฐ์์ ๋๋ค. ์ด๋ณด์๋ ์ฐจ๊ทผ์ฐจ๊ทผ ๋ฐฐ์ธ ์ ์๋ Airflow ๋ง์คํฐ ํด๋์ค, ํ์ํฉ๋๋ค!
์๊ฐ์ 1,094๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

๋ค๋ฅธ ์๊ฐ์๋ค์ด ์์ฃผ ๋ฌผ์ด๋ณด๋ ์ง๋ฌธ์ด ๊ถ๊ธํ์ ๊ฐ์?
- ๋ฏธํด๊ฒฐ
pykrx ํ์์ ์ ํ์ผ๋ก ์ธํ ์ค์ต ๋ถ๊ฐ
ํ์ด์ฌ์ผ๋ก ์ฃผ์์ ๋ณด ๊ฐ์ ธ์ค๊ธฐ ์ค์ต์ ์งํํ๋ ์ค ์ ๋ชฉ๊ณผ ๊ฐ์ ์ด์์ ๋ํด ์๊ฒ ๋์์ต๋๋ค. ํด๋น ์ฌ์์ ํ์ธํด ์ฃผ์์ด ์ค์ต๋ด์ฉ์ ๋ํด ์์ ์์ฒญ๋๋ฆฝ๋๋ค.
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflowjo haejin
ใป
12์ผ ์
0
47
2
- ๋ฏธํด๊ฒฐ
์๋ฃ์ฆ ๋ฐ๊ธ
์๋ฃ์ฆ ๋ฐ๊ธํ๋ ค๋๋ฐ์ค๋ช ์ธ์ฆํ๋ผ๊ณ ๋ง ๋์ค๊ณ ์๋ฃ์ฆ ๋ค์ด๋ก๋๊ฐ ์ฃ์ง ์์ต๋๋ค
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflowpayo9003
ใป
ํ ๋ฌ ์
0
65
3
- ๋ฏธํด๊ฒฐ
์๋ฌ ๋ฐ์ ๊ด๋ จ ์ง๋ฌธ๋๋ฆฝ๋๋ค.
from __future__ import annotations import pendulum from airflow.providers.standard.operators.bash import BashOper
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflowejs1127
ใป
2๋ฌ ์
0
60
2
- ๋ฏธํด๊ฒฐ
vscode ์์ ํ๋ฉด์ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ง ์์ต๋๋ค.
vscode ์์ ํ๋ฉด์ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ง ์์ต๋๋ค.์คํ์๊ฐ ์์ ๊ฒฝ์ฐ ๋ ธ๋์ ์ค์ด๋ ๋นจ๊ฐ ์ค์ด ๋ ์ผ ํ๋๋ฐ ๋จ์ง ์์์.
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflowejs1127
ใป
2๋ฌ ์
0
56
2
- ๋ฏธํด๊ฒฐ
plugins ํด๋ ์์ฑ
์๋ ํ์ธ์!plugins ํด๋ ์์ฑ์ ๋จ์ํ airflow/plugins/shell ๊ฐ ํด๋ ์์ฑํด์, sh ํ์ผ์ ๋ฃ์ด์ ์์ ๋ถ๋ถ ์งํํ๋ฉด ๋ ๊น์?<p
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์ ํ์ง
ใป
3๋ฌ ์
0
61
2
- ๋ฏธํด๊ฒฐ
WSL์์ git push ๊ฐ ์๋์ ใ
์ค์ต๋ด์ฉ์ ์ด์ฌํ ๋ฐ๋ผ๊ฐ๋ค ๋ณด๋ WSL์์ git pushํ๋ ค๋ฉด ํ ํฐ ๋ฐฉ์์ผ๋ก ์์ฑ๋ ๋น๋ฒ์ ์ ๋ ฅํ๋ผ๊ณ ํ์ จ๋๋ฐ ํ๋ค ๋ณด๋ ์๋ ์บก์ฒ์ ๊ฐ์ด ๊ณ์ ์๋ฌ๊ฐ ๋๋ค์. ๋ฐ๋ผํ๋ค ๋ฌด์์ ์๋ชปํ ๊ฑธ๊น์? ใ ใ <img sr
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์์ฑ์ ์์
ใป
3๋ฌ ์
0
96
2
- ๋ฏธํด๊ฒฐ
chatGPT&Airflow๋ก ๋ธ๋ก๊ทธ ์๋ ํฌ์คํ ํ๊ธฐ ๋ Deprecated ๊ฐ ํ์ํฉ๋๋ค.
2024๋ 2์ ์ดํ๋ก Tistory OpenAPI ์๋น์ค ์ข ๋ฃ๊ฐ ๋์๋ค๊ณ ํฉ๋๋ค. <a target="_blank" rel="noopen
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow๋ฐ์ฐฌ์
ใป
3๋ฌ ์
0
55
2
- ๋ฏธํด๊ฒฐ
github์ ํ์๊ฐ์ ์ด ์๋๋๋ฐ ์์ธ์ด ๋ญ์ง ๋ชจ๋ฅด๊ฒ ์ด์ ใ
์บก์ฐจ ์๋ต์ ํ์ธํ ์ ์์ต๋๋ค. ๋ฌธ์ ํด๊ฒฐ ์ ๋ณด๋ <a target="_blank" rel="noopener noreferrer nofo
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflowdhkim218
ใป
3๋ฌ ์
0
331
2
- ๋ฏธํด๊ฒฐ
์ค์น์ค์ธ๋ฐ venv๋ฅผ ๊ผญ ์จ์ผํ ๊น์?
venv๋ก ํด์ ํ๋๊น ์ด์ ์ ์์๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ค์ด ์๋จนํ์์? ๋ฌธ์ ๋ ์๋์?
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐ์กฐ๋ง์ค
ใป
4๋ฌ ์
0
99
2
- ๋ฏธํด๊ฒฐ
Bash Operator ์ธ๋ถ ์ํ์ผ ์ํํ๊ธฐ ์ค๋ฅ
<img src="https://cdn.inflearn.com/public/files/posts/0aab0459-ef41-4e3a-90a7-0d93217d3a98/2e53c0ec-1016-4635-b91b-a0b61f19867b.png" media-type="img"
pppcent
ใป
4๋ฌ ์
0
69
3
- ๋ฏธํด๊ฒฐ
์ค์น ๋ฒ์ ๊ด๋ จ ์ง๋ฌธ์ ๋๋ค.
๋์ปค๋ฅผ ์ฌ์ฉํ ๊ฒ์ 3.1.3 ๋ฒ์ ์ผ๋ก ๋ค์ด ๋ฐ๊ณ , ํ์ด์ฌ 3.9 ๋ฒ์ ์์ ๋ค์ด ๋ฐ๋ ๊ฒ์ 3.0.4 ๋ฒ์ ์ผ๋ก ๋ค์ด๋ฐ์๋๋ฐ ํน์ ๋ฌธ์ ๋ฐ์ํ ๊ฒ์ด ์์๊น์?
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐ์ด์ ์ฑ
ใป
4๋ฌ ์
0
57
1
- ๋ฏธํด๊ฒฐ
์ฐ๋ถํฌ ๋ฒ์ ๋ค์ด๋ฐ์์ผํ๋๋ฐ ์ด๋ค๊ฑธ๋ก ์ค์นํด์ผํ ๊น์?
<img src="https://cdn.inflearn.com/public/files/posts/eb05f8ef-cbbe-4d78-9b16-93632ead5e21/1576f2aa-4142-400a-b82a-e2f69550226f.png" medi
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐRootree
ใป
4๋ฌ ์
0
53
1
- ๋ฏธํด๊ฒฐ
DAG ๋ง๋ค๊ธฐ ์ค airflow ํจํค์ง ๋ก๋ ์๋ฌ
์๋ ํ์ธ์ ๊ฐ์ฌ๋, ๊ฐ์ ์ ์๊ฐํ๊ณ ์์ต๋๋ค. Airflow ํจํค์ง ์ค์น ์ดํ DAG ๋ง๋ค๊ธฐ ์ค์ต์ ์งํํ๋ ค๊ณ ํ๋๋ฐ VSCode ํ๊ฒฝ์์
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐabc
ใป
4๋ฌ ์
0
95
2
- ๋ฏธํด๊ฒฐ
3.0์์๋ ์์ ๋ ธํธ๊ฐ ์ฑ๋ฆฝํ๋์ง ํ์ธ ๋ถํ๋๋ฆฝ๋๋ค!
๋ท ๊ฐ์(Bash Operator์์ Jinja template ์ฌ์ฉํ๊ธฐ)์ ์์ ๋ ธํธ์ ๋ค์์ ๋ด์ฉ์ด ๋์ค๋๋ฐ์.์ด ๊ฐ์์ ์์ ๋ ธํธ๊ฐ ์ ์ดํด๋์ง ์์์๋๋ฐ ๊ด
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐใ ใ ใ
ใป
5๋ฌ ์
0
86
3
- ๋ฏธํด๊ฒฐ
task_id ์ฌ์ฉ๋ฒ์ด ๋ญ๊ฐ ๋ฐ๋ ๊ฒ ๊ฐ์ต๋๋ค.
@task๋ง ์ฐ๊ฑฐ๋inner ํจ์์ return์ ํ๊ฑฐ๋<p style="text-a
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐใ ใ ใ
ใป
5๋ฌ ์
0
68
3
- ๋ฏธํด๊ฒฐ
email operator ์ค๋ฅ ๊ด๋ จ
<img src="https://cdn.inflearn.com/public/files/posts/355932b7-e0db-4b56-8366-91c7a68beddf/895b3068-bbe4-4a90-96e8-0dfd49a53370.webp" media-type="img"
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐbbbangduk9
ใป
5๋ฌ ์
0
55
2
- ๋ฏธํด๊ฒฐ
plugins ํด๋ ๊ด๋ จ
<img src="https://cdn.inflearn.com/public/files/posts/fb790980-7799-4f4f-a6aa-08a8dd46f06d/cce6a3b3-1010-455f-844e-020a92f458dc.webp" media-type="img"
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐbbbangduk9
ใป
6๋ฌ ์
0
85
2
- ๋ฏธํด๊ฒฐ
bash operator ๊ด๋ จ ๋ฌธ์์ ๋๋ค
<img src="https://cdn.inflearn.com/public/files/posts/8585c824-58a2-4b55-989f-575c42269330/303b84b6-0108-4fe5-8fd5-150b25e8ac1e.webp" media-type="img"
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐ์์ฑ์ ์์
ใป
6๋ฌ ์
0
73
3
- ๋ฏธํด๊ฒฐ
์ค์ผ์ฅด๋ฌ - DAG ํ์ฑ ๋ถํ ์ค์ด๋ ๊ณผ์ ์ง๋ฌธ
์๋ ํ์ธ์ ๊นํ์ง ์ ์๋๊ฐ์ ์ ๋ฃ๊ณ ์์ต๋๋ค. ์๋์ ํด์ฆ
python๋ฐ์ดํฐ-์์ง๋์ด๋งairflow์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐJoe (๋ธ๋ฆฌ์ณ์ค)
ใป
6๋ฌ ์
0
71
2
- ๋ฏธํด๊ฒฐ
Dags refresh ์ฃผ๊ธฐ ๊ด๋ จ ์ง๋ฌธ
๊ฐ์ฌ๋, ์๋ ํ์ธ์! DAG ํ์ผ์ ์ถ๊ฐํ๊ฑฐ๋ ์์ ํ ๋, Airflow UI์ ๋ณ๊ฒฝ ์ฌํญ์ด ์๋์ผ๋ก ๋ฐ์๋๊ธฐ๊น์ง ๋ณดํต 1~5๋ถ ์ ๋ ์์๋
airflow๊ตฌ๊ธฐ๋ช
ใป
6๋ฌ ์
0
106
2






