Airflow ๋ง์คํฐ ํด๋์ค
๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ํจ์จ์ ์ผ๋ก ๋ง๋ค๊ณ ๊ด๋ฆฌํ๊ธฐ ์ํ Orchestration ๋๊ตฌ์ธ Airflow์ ๋ํด ๋ฐฐ์ฐ๋ ๊ฐ์์ ๋๋ค. ์ด๋ณด์๋ ์ฐจ๊ทผ์ฐจ๊ทผ ๋ฐฐ์ธ ์ ์๋ Airflow ๋ง์คํฐ ํด๋์ค, ํ์ํฉ๋๋ค!
์๊ฐ์ 1,107๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

์๋ ํ์ธ์!
์ค๋๋ง์ ์ธ์ฌ๋๋ฆฝ๋๋ค.
2026๋ 4์์ ๋ง์ดํ์ฌ ์๋ก์ด ๊ฐ์๋ฅผ ์ถ์ ํ์์ต๋๋ค.
์ด๋ฒ์ ์ถ์ํ ๊ฐ์๋ AI ์ ๋ฌธ์ ์ํ LLM ๋ง์คํฐ ํด๋์ค ์ ๋๋ค.โ ๋ฐฐ์ฐ๋ ๋ด์ฉ์ LLM ์ํคํ ์ฒ ์ดํด์ GPU ํ์ฉ ์ ๋ต์ ๋ํด ์ฃผ๋ก ๋ค๋ฃจ๊ฒ ๋ฉ๋๋ค.
ํ๊น ํ์ด์ค์ ๋ฑ๋ก๋ ๋ชจ๋ธ์ ์์ธ ์คํ์ ์ฝ๋ ๋ฒ
ํธ๋์คํฌ๋จธ ์ดํ ์ ์๋ฆฌ์ ๋ฐ์ ํ๋ฆ ์์ ์ ๋ณต
๋์ฝ๋ ๋ชจ๋ธ์ KV Cache ์ดํด
vLLM ์ค์ต๊ณผ ์ฃผ์ ์งํ ๋ชจ๋ํฐ๋ง
๋ฉํฐ GPU ํ์ฉ ์ ๋ต
LLM ๊ฐ๋ฐ ํธ๋ ๋ ๋ฐ๋ผ์ก๊ธฐ
โ ํฌ๊ฒ 6๊ฐ์ง ํต์ฌ Point๋ฅผ ๋ด์์ต๋๋ค. ์ด ๊ฐ์๋ฅผ ํตํด ์์ ์์ด๋ LLM ๋ชจ๋ธ์ ์์ ํ ์ดํดํ๊ณ GPU ํ๊ฒฝ ์์ ์คํ/๊ด๋ฆฌํ๋ ์ ๋ฌธ๊ฐ๊ฐ ๋ ์ ์๋๋ก ๋ ธํ์ฐ๋ฅผ ๋ง์ด ๋ด์์ต๋๋ค.
๐ก ํ์ฌ 70% ์ผ๋ฆฌ๋ฒ๋ ํ ์ธ ์ค์ ๋๋ค.
๐ก๊ฐ์ ๋ฐ๋ก๊ฐ๊ธฐ: https://inf.run/QtjVn
๋ฒ๊ฝ์ด ํผ๋ ์์ฆ ์ผ๊ต์ฐจ ์ฃผ์ํ์๊ณ ๋ ์ข์ ์์์ผ๋ก ์ฐพ์ ๋ต๊ป์. ๊ฐ์ฌํฉ๋๋ค ๐
์๋ ํ์ธ์!
โ Airflow 2.0 ๋ฆด๋ฆฌ์ฆ 5๋ ๋ง์ 3.0 ๋ฒ์ ์ด ๋ฆด๋ฆฌ์ฆ๋์์ต๋๋ค.

๋ง์ ๊ธฐ๋ฅ๋ค์ด ์ถ๊ฐ/๊ฐ์ ๋์๊ณ ํนํ UI๋ ๋ง์ด ๋ณ๊ฒฝ๋์ต๋๋ค.
์๊ฐ ์ค์ด์ ๋ถ๋ค์ ์ผ๋จ ์์๋๋ก ๊ฐ์๋ฅผ ์ญ ๋ค์ด์ฃผ์๋ฉด ๋ฉ๋๋ค.
์ด๋ฏธ ์๊ฐํ์ ๋ถ๋ค๋ Airflow 3.0 ์์ ๋ฐ์๋ ๊ธฐ๋ฅ๋ค ํ๋ฒ ํ์ธํด๋ณด์ธ์ ^-^
โ ์๋๋ Airflow 3.0 Update ๊ด๋ จ ์ถ๊ฐ๋ ์น์ ์ ๋๋ค.
์ด 1์๊ฐ 51๋ถ ๋ถ๋์ ๋๋ค.

๊ฐ์ฌํฉ๋๋ค.
์๋ ํ์ธ์! ๊นํ์ง์ ๋๋ค.
Airflow master Class ๊ฐ์์ ์ ๋ฐ์ดํธ๊ฐ ์๋ฃ๋์์ต๋๋ค.
๊ฐ์๋ฅผ ์ดฌ์ํ์ ๋ ๋ฒ์ ์ด 2.5.1 ์ด์๋๋ฐ ์ด๋๋ง 2.10.5 ๊น์ง Update๊ฐ ๋์๋๋ผ๊ตฌ์.
๊ทธ๋์ 2.6 ๋ถํฐ 2.10 ๋ฒ์ ๊น์ง ์ฃผ์ ์ ๋ฐ์ดํธ ์ฌํญ๋ค์ ๋ํด ์ ๋ฆฌ๋ฅผ ํ์๊ณ ์ด 10๊ฐ์ ์ฑํฐ๋ก ์ถ๊ฐ๊ฐ ๋์์ต๋๋ค.
์ ๋ฆฌํ๋ค๋ณด๋ Dataset ๊ธฐ๋ฅ์ ๋ณด์/๊ฐํํ๊ธฐ ์ํ ์ฌ๋ฌ Update๊ฐ ๋ง์๊ณ ๋ Cloud ํ์ฐ์ ๋ฐ ๋ง์ถ์ด ๊ด๋ จ๋ Airflow๋ ๊ธฐ๋ฅ ๋ณด์์ด ๋๊ณ ์์์ ๋๋ ์ ์์์ต๋๋ค.
์ด๋ฐ ๋ด์ฉ์ ์ค์ต์ ํตํด ์์๋ณผ ์ ์๋๋ก ์น์ 18์ ๋ด์ฉ์ด ์ถ๊ฐ๋์ต๋๋ค.
์ด์ธ๋ฌ Kafka & Spark Streaming ๊ธฐ๋ฐ์ผ๋ก ์ค์๊ฐ ์ฒ๋ฆฌ์ ๋ํด ํด๋ผ์ฐ๋ ํ๊ฒฝ์์ ํ์ ํ๋ก์ ํธ ์์ค์ ์ค์ต์ ์ํด ์ค๋น๋ ๊ฐ์๋ ์ง๋๋ฌ ์คํํ์์ต๋๋ค. ๋ง์ ๊ด์ฌ ๋ถํ๋๋ฆฝ๋๋ค.
๋ ๊ฐ์ ๋ชจ๋ ์ฃผ์ ์ ๋ฐ์ดํธ๊ฐ ์์ ๋๋ง๋ค ์ฌ๋นจ๋ฆฌ ๋ฐ์ํ์ฌ ์๋ ค๋๋ฆฌ๋๋ก ํ๊ฒ ์ต๋๋ค ^^
๊ฐ์ฌํฉ๋๋ค.
์๋ ํ์ธ์
Airflow Master Class ๊นํ์ง์ ๋๋ค.
์ต๊ทผ ์ค์๊ฐ ์ฒ๋ฆฌ์ ๋ํ ๋์ฆ๊ฐ ๋ง์ด ์ฆ๊ฐํ๊ณ ์๋ ๋ฐ๋ฉด, ์ค์๊ฐ ํ์ดํ๋ผ์ธ์ ๋ค๋ฃจ๋ ๊ฐ์๊ฐ ๋ถ์กฑํ์ฌ
Kafka & Spark ๊ธฐ๋ฐ ์ค์๊ฐ ์ฒ๋ฆฌ ํ์ดํ๋ผ์ธ์ ์ค์ตํ๊ณ ๋ฐฐ์ธ ์ ์๋ ๊ฐ์๋ฅผ ์คํํ์ต๋๋ค.
Kafka ์ Spark ๋ชจ๋ ๊ธฐ๋ณธ๋ถํฐ ์ค์๊ฐ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ฑํด๋ณผ ์ ์๋ ๋ด์ฉ๊น์ง ์ฐจ๊ทผ์ฐจ๊ทผ ๋ฐฐ์ธ ์ ์๋๋ก ์ค๋นํ์ต๋๋ค.
์ ์ ๋ ์จ๊ฐ ํ๋ฆฌ๋ฉด์ ๋ด์ด ๋ค๊ฐ์ค๊ณ ์๋๋ฐ ์ฌ๋ฌ๋ถ๋ค๊ป๋ ์ฑ๊ทธ๋ฌ์ด 25๋ ๋ ๋ด์ด ์ค๊ธฐ๋ฅผ ๊ธฐ์ํ๊ฒ ์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค.






