์ค๋ฆฌ์ฝ๋ฐธ๋ฆฌ ๋ฐ์ดํฐ ๋ฆฌ๋๊ฐ ์๋ ค์ฃผ๋ Airflow ๊ธฐ์ด
AI ์๋๊ฐ ๋๋ํ๋ฉด์, ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ตฌ์ฑ์ ๊ธฐ์ ๊ฒฝ์๋ ฅ์ ์ข์ฐํ๋ ํต์ฌ ์ญ๋์ผ๋ก ์๋ฆฌ ์ก์์ต๋๋ค. ๊ฐ์ฅ ๋๋ฆฌ ์ฌ์ฉ๋๋ Airflow๋ฅผ ํ์ฉํด ํจ์จ์ ์ธ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํ๋ ๋ ธํ์ฐ๋ฅผ, ์ค์ ๊ฒฝํ๊ณผ ํ๋ถํ ๊ฐ์ ๊ฒฝ๋ ฅ์ ์ง๋ ์ค๋ฆฌ์ฝ๋ฐธ๋ฆฌ ์ ๋ฌธ๊ฐ(ๅ ์ ๋ฐ๋ฏธ ๋ฐ์ดํฐํ ํค๋, ็พ ์ฐํธ์ธ ์ฃผ๋ฆฝ๋ ๋ฐ์ดํฐ ์์ฌ ๊ณผ์ ๊ต์)์๊ฒ ์ง์ ๋ฐฐ์๋ณด์ธ์.
์๊ฐ์ 220๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

- ๋ฏธํด๊ฒฐ
์๋ฃ ๋ค์ด๋ก๋ ํ๋ฉด ๋งํฌ๊ฐ ๋ชจ๋ ํด๋ฆญ์ด ์๋จ
์๋ฃ ๋ค์ด๋ก๋ ํ๋ฉด ๋งํฌ๊ฐ ๋ชจ๋ ํด๋ฆญ์ด ์๋ฉ๋๋ค.๋ชจ๋ ๊ฐ์ ์๋ฃ PDF๋ก ๋ค์ด๋ก๋๋๋ฉฐ, ํ์ดํผ๋งํฌ์ฒ๋ผ ํ์๋ง ๋๊ณ ํด๋ฆญ ๋ถ๊ฐํฉ๋๋ค.<p style="tex
pythonsqlairflowsnowflakewony
ใป
3๋ฌ ์
0
57
2
- ๋ฏธํด๊ฒฐ
48๊ฐ ๊ฐ์ ์ฌ์ ํ 49๊ฐ๊ณผ ๊ฐ์ ๊ฐ์๊ฐ ๋์ต๋๋ค
48. Postgres ํ ์ด๋ธ ์ฝ์ด์ค๊ธฐ ๊ฐ์๊ฐ ์ฌ์ ํ 49 49. Postgres ํ ์ด๋ธ ์ฝ์ด์ค๊ธฐ์ ๊ฐ์ ๊ฐ์๊ฐ ๋์ต๋๋ค. ์ด๋ก ๊ฐ์๊ฐ ์๋ ์ค์ต๊ฐ์๊ฐ ๋์ค๊ณ ์์ต๋๋ค.
pythonsqlairflowsnowflake๊น๋์ฐ
ใป
3๋ฌ ์
0
65
3
- ๋ฏธํด๊ฒฐ
forloop์ผ๋ก task ์ ์์ task_id ์ ํด์ง๋ ๋ก์ง
์๋ ํ์ธ์. 49๊ฐ ์๊ฐ ์ค ์ง๋ฌธ์ด ์์ต๋๋ค. for table_name in TABLES.keys(): extract_from_
pythonsqlairflowsnowflake๋์ซ์ฟ
ใป
3๋ฌ ์
0
66
3
- ๋ฏธํด๊ฒฐ
SWAP ๋ฌธ๋ฒ ํ์ฉ ์ด์
์๋ ํ์ธ์ ํ๊ธฐ์ฉ ์ง์๊ณต์ ์๋. ์ข์ ๊ฐ์ ์ ๋ฃ๊ณ ์์ต๋๋ค.ELT๋ฅผ ๊ตฌํํ ๋ SWAP ๋ช ๋ น์ด๋ฅผ ์ฌ์ฉํ ์ ํํ ์ด์ ๊ฐ ๊ถ๊ธํฉ๋๋ค.์ ๊ฐ ์ฐพ์๋ณธ ๋ฐ๋ก๋ SWAP ๋ช ๋ น์ด๋ ํฌ์ธํฐ ๊ต์ฒด ๋ฐฉ์์ผ๋ก
pythonsqlairflowsnowflakejkyunjang
ใป
5๋ฌ ์
1
69
2
- ๋ฏธํด๊ฒฐ
copy into ์ฑ๋ฅ ์ ํ
์๋ ํ์ธ์ ํ๊ธฐ์ฉ ์ง์๊ณต์ ์๋. <a target="_blank" rel="noopener noreferrer nofollow" class="mantine-Text-root mantine-Anchor-root c
pythonsqlairflowsnowflakejkyunjang
ใป
5๋ฌ ์
1
63
2
- ๋ฏธํด๊ฒฐ
๋ฐ์ดํฐ ๊ฐ์ ธ์ฌ๋ 1๋ฌ์น๋ง ๊ฐ์ ธ์ค๋ ์ํ
์ง๊ธ์ ์ ์ฑ ์ด ๋ฐ๋์๋์ง ๊ธฐ์กด์ฝ๋ ๋ก๋ 1๋ฌ์น๋ง ๊ฐ์ ธ์ค๋ค์. extract ์์data = yf.download(symbol,
pythonsqlairflowsnowflake์ง์ํฉ
ใป
6๋ฌ ์
1
62
2
- ๋ฏธํด๊ฒฐ
31๋ฒ ์ค์ต์ ์๋ฌ ๋ฐ์
์ฒซ๋ฒ์จฐ dag ์คํ์ ๋งํฌ๋ก ๊ฐ์์ค๋ csv ํ์ผ์ด xml ํ์ผ๋ก ์ฝ์ด๋๋ฆฌ๋ฉด์ ์๋ฌ๋ก ๋์ฐ๋ค์??๋์ปค์์ csv ํ์ผ์ ์ฝ์๋ ์๋ฌ๋ฉ์ธ์ง๋ฅผ xml๋ก ๋ฆฌํดํ๋๊ฑฐ๊ฐ์๋ฐ ์ฐ์ csv ํ์ผ์
pythonsqlairflowsnowflake์ง์ํฉ
ใป
6๋ฌ ์
0
61
2
- ๋ฏธํด๊ฒฐ
pdf ๋งํฌ ์ค๋ฅ
์๋ ํ์ธ์ ์ ์๋ ํ์ฌ ๊ฐ์์ 6ํ์ด์ง์ (ํ์ด์ฌ์ผ๋ก ๊ฐ๋จํ ETL ์์ฑํด๋ณด๊ธฐ)</
pythonsqlairflowsnowflake๋ฐ๋ฏผ์ง
ใป
7๋ฌ ์
1
98
2
- ๋ฏธํด๊ฒฐ
Window11 Home ๋ฒ์ ๋์ปค ์ค์น ๋ฐฉ๋ฒ - Docker Desktop - Unexpected WSL error
์๋์ ๊ฐ์ ๋ด์ฉ์ ๋ชจ๋ฅด๊ณ Win11 Home ๋ฒ์ ์์ ๋์ปค ์ค์น์ ์ฌ๋ฌ๊ฐ์ง ์ํ ์ฐฉ์ค๋ฅผ ๊ฒช๊ณ Windows 11 Home ๋ฒ์ ์์๋ Hyper-V๋ฅผ ํ์ฑํํด์ ๋์ปค ์ค์น์ ์ฑ๊ณตํ ๋ฐฉ๋ฒ์ ๊ณต์ ๋๋ฆฝ๋๋ค.<p sty
pythonsqlairflowsnowflakeinterrobang
ใป
8๋ฌ ์
0
286
1
- ๋ฏธํด๊ฒฐ
์ด์ ๊ฐ์์์๋ ๊ทธ๋ฌ์ง๋ง ์๋ฆฌ๊ฐ ๋๋ฌด ์์์
๊ฐ์์ ์ ๋ ์๋ฆฌ๊ฐ ์์์, ํด๋ํฐ(๊ฐค๋ญ์ S24) ๊ธฐ์ค์ผ๋ก ์ต๋ ๋ณผ๋ฅจ์ผ๋ก ์ฌ๋ ค๋ ๋ง์กฑ์ค๋ฌ์ธ๋งํผ ํฌ์ง๊ฐ ์์ต๋๋ค. ๋ํ ๋ค๋ฅธ ์ ํ๋ฆฌ์ผ์ด์ ์์ ๋์ค๋ ์๋ฆฌ์ ์ฐจ์ด๊ฐ ์ปค์ ๋ณผ๋ฅจ์ ๊ณ์ ๋ณ๊ฒฝํด์ค์ผ ํด์.
pythonsqlairflowsnowflakeArchitect
ใป
9๋ฌ ์
2
106
2
- ๋ฏธํด๊ฒฐ
nps.csv ํ์ผ ์์น
์๋ ํ์ธ์. 'Snowflake ํ๊ฒฝ ์ตํ๊ธฐ' ๊ฐ์์์ nps.csv ํ์ผ ๋ค์ด๋ก๋ ํ๋ผ๊ณ ๋ผ ์๋๋ฐ, pdf ํ์ผ๋ง ๋ด๋ ค๋ฐ์์ง๋๋ค.<p style="text-align: left"
pythonsqlairflowsnowflake์์ฑ์ ์์
ใป
9๋ฌ ์
0
111
2
- ๋ฏธํด๊ฒฐ
๊ฐ์๊ฐ ์๋ชป ์ฌ๋ผ์จ๊ฒ์ด ์๋ค์. => 48๊ฐ
48. Postgres ํ ์ด๋ธ ์ฝ์ด์ค๊ธฐ ๊ฐ์๊ฐ <sp
pythonsqlairflowsnowflakedigilog
ใป
10๋ฌ ์
1
120
4
- ๋ฏธํด๊ฒฐ
Airflow ์น UI์์ ํ์ผ ๋๋ ํ ๋ฆฌ ๊ตฌ์กฐ ํ์ธ์ด ๊ฐ๋ฅํ๊ฐ์?
์๋ ํ์ธ์.ใ์์ Airflow ์์ ๋ฅผ ๊ฐ์ ํด๋ณด์ (v3) - ์ค์ต ํธใ ๊ฐ์ ์๊ฐ ์ค ๊ถ๊ธํ ์ ์ด ์์ด ๋ฌธ์๋๋ฆฝ๋๋ค.<p style="text-align
pythonsqlairflowsnowflakeCharlie
ใป
10๋ฌ ์
0
162
1
- ๋ฏธํด๊ฒฐ
๋ณธ๋ฌธ๊ณผ ๊ฐ์ ๋ฉ์์ง๊ฐ ๋จ๋ฉด์, ์ด๋ ์๊ฐ๋ถํฐ ๊ณ์ ์๋๋๋ฐ, ์ด๋ค ์ด์ ์ผ๊น์ ใ ใ
[2025-04-07T14:51:04.313+0000] {taskinstance.py:3310} ERROR - Task failed with exceptionTr
pythonsqlairflowsnowflake์ค๊ฐํ
ใป
์ผ ๋ ์
1
191
2
- ๋ฏธํด๊ฒฐ
yfinance ์ฃผ์ ์ฝ์ด ์ค๊ธฐ ์ฒ์ ์ค, no module named helpers ์๋ฌ
airflow dags list๋ฅผ ํ๋ฉด yfinance_to_snowflake_fullrefresh.py ์์ no module named helpers ์๋ฌ๊ฐ ๋ด์ต๋๋ค. pip3 install helpers ๋ฅผ ํตํด
pythonsqlairflowsnowflake์ค๊ฐํ
ใป
์ผ ๋ ์
2
147
2
- ๋ฏธํด๊ฒฐ
Data Drift ๋ฐ์์ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ด ๋์ํ์ง ์๋ ๊ฒ์ ์๋ฏธ
1. Data Drift ๋ฐ์ ์์ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ด ๋์ํ์ง ์๊ฒ ๋ ๊ฒ์ด๋ผ๋ ๊ฒ์ ์๋น์ค๋ ๋์๊ฐ์ง๋ง, ๋จธ์ ๋ฌ๋์ ๋ชจ๋ธ์ด ์๋ ๊ธฐ๋ํ๋ ์ฑ๋ฅ์ ๋ด์ง ๋ชปํ ๊ฒ์ ์๋ฏธํ๋ ๊ฒ์ผ๊น์?์๋ฅผ ๋ค์ด ์ถ์ฒ ๋ชจ
pythonsqlairflowsnowflakedatadrift์ค๊ฐํ
ใป
์ผ ๋ ์
1
140
1
- ๋ฏธํด๊ฒฐ
docker ์๋ฌ
๋ช ๋ น์ด:docker compose -f docker-compose.yaml up์๋ฌ ๋ฉ์ธ์ง:<p
pythonsqlairflowsnowflake[SQL ์ค์ ๋ฐ 13๊ธฐ] Toby
ใป
์ผ ๋ ์
0
179
2
- ๋ฏธํด๊ฒฐ
Airflow UI DAGs ๋ฆฌ์คํธ๋ค
CountryCapital_v3.py ์ค์ต๊ณผ์ ์ ์งํ์ค์ ๊ฐ์๊ธฐ airflow UI ์์ DAGs ๋ฆฌ์คํธ๋ค์ด ๋์ค์ง ์๋ ํ์์ ๊ฒช๊ณ ์์ต๋๋ค.<img src="https://cdn.inflearn.com/public/files/posts/f689c0c6-
pythonsqlairflowsnowflake๊ณ ํด์
ใป
์ผ ๋ ์
1
184
2
- ๋ฏธํด๊ฒฐ
nps.csv ํ์ผ ์์น ๋ฐ ์ค์ต ์ง๋ฌธ
์น์ 3์ ์๋ Snowflake ํ๊ฒฝ ์ตํ๊ธฐ ์ค์ต์์ nps.csv ํ์ผ์ ์ด๋์ ์๋์?<span style="color: rgb(33,
pythonsqlairflowsnowflake๊ณ ํด์
ใป
์ผ ๋ ์
0
195
2
- ๋ฏธํด๊ฒฐ
Airflow Variables ์ค์
Airflow Variables ์ค์ ์ ์ค๋ ธ์ฐํ๋ ์ดํฌ์ ์ฐ๊ฒฐ์ ์ํ snowflake_userid, snowflake_password, snowflake_account ์ค์ ์ ์ดํด๋ฅผ ํฉ๋๋ค. ๊ทธ๋ฐ๋ฐ ์ฒซ๋ฒ์งธ์ธ Country_capital_url ์ ์ค์ ํ๋์ง ์ดํด๊ฐ
pythonsqlairflowsnowflake๊ณ ํด์
ใป
์ผ ๋ ์
1
118
2






