์ปดํจํฐ ๊ณตํ ์์ฌ ํ ์ผ์ฑ์ ์์์ ์์๋ ์ปค๋ฆฌ์ด๊ฐ ์น๊ตฌ๋์ ์ค๋ฆฌ์ฝ๋ฐธ๋ฆฌ๋ก ์ด์ด์ ธ ์ง๋ 29๋ ๊ฐ 13๊ฐ์ ๋ค์ํ ์คํ ์ด์ง์ ํ์ฌ๋ฅผ ๋ค๋ ์ต๋๋ค (์ฐฝ์ , ๋๊ธฐ์ ๋ค, ๋ค์์ ์คํํธ์ ๋ค).
์ผํ: ์์ง๋์ด๋ง ๋๋ ํฐ๋ก ๊ฒ์์์ง ๊ฐ๋ฐ.
์ ๋ฐ๋ฏธ. ๋ฐ์ดํฐํ์ ์ฒ์ ๋ง๋ค์ด 30๋ช ๊น์ง ์ฑ์ฅ. 2021๋ 10์์ ๋์ค๋ฅ ์์ฅ
์ผ์ฑ์ ์
...
์ค๊ฐ์ 11๊ฐ์ ์ฌ์ด๋ณด๊ธฐ๋ ํ๊ณ ๋ณธ์ ์๋๊ฒ ์์ คํฌ์์(Chartmetric, Goodtime.io, Select Star, EO, ๋น์ง๋์ค ์บ๋ฒ์ค, ...), ์ด๋๋ฐ์ด์ (๋ชฐ๋ก์ฝ, ๋ธ๋ผ์ธ๋, ์๊ธ์์ด๋ถ์๋ค, ...), ์ปจ์คํ (SKํ ๋ ์ฝค, ํ๋์นด๋, ์ด๋งํธ ๋ฑ๋ฑ) ๋ฑ์ ์ญํ ์ ํ๋ฉด์ ๋๋ง์ ๋ธ๋๋๋ฅผ ๋ง๋ค์์ต๋๋ค. ์คํจ๋ฅผ ์คํจ๊ฐ ์๋ ๊ตํ์ผ๋ก ๋ณด๋ ๊ธ์ ์ ํ๊ณผ ๊พธ์คํจ์ด๋ผ๋ ๋ณต๋ฆฌ์ ํ์ ๋ฏฟ์ต๋๋ค.
Courses
Reviews
- SQL Basics from a Silicon Valley Data Leader
- SQL Basics from a Silicon Valley Data Leader
- Characteristics of a developer recognized in Silicon Valley (w. Han Ki-yong)
- Characteristics of a developer recognized in Silicon Valley (w. Han Ki-yong)
- Big Data Processing (Spark) as Told by a Silicon Valley Leader
Posts
Q&A
๊ฐ์ ๊ต์ ์ ๊ณต ๋ฌธ์
์น์ ๋ณ๋ก ์ฒ์ ์ฅ์ ์๋ฃ๋ฅผ ์์ ์๋ฃ๋ก ์ฌ๋ ค๋์์ต๋๋ค.(์ฌ์ง)๋์์ด ๋๊ธฐ๋ฅผ ๋ฐ๋๋๋ค. ํน์ ๋ฐ์ดํฐ ์์ง๋์ด๋ง์ ๊ด์ฌ์ด ์๋ค๋ฉด ์ ๊ฐ ๋ง๋ Airflow๋ Spark ๊ฐ์๋ ์ถ์ฒ๋๋ฆฝ๋๋ค ๐
- 1
- 2
- 22
Q&A
forloop์ผ๋ก task ์ ์์ task_id ์ ํด์ง๋ ๋ก์ง
์ ๊ฐ ๋ตํ๊ธฐ ์ ์ ํด๊ฒฐํ์ จ๊ตฐ์. ๋คํ์ ๋๋ค. ๋ ์ง๋ฌธ ์๊ธฐ๋ฉด ํธํ๊ฒ ์ฃผ์ธ์!
- 0
- 3
- 22
Q&A
Free Edition์ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ
๋ง์ต๋๋ค. ์ด๊ฑธ ๋นจ๋ฆฌ ์ฌ๋ ค์ผ ํ๋๋ฐ ๋ง์นจ ๋ ํ๊ตญ์ ์ถ์ฅ์ ์๋ค์. ์ฃผ๋ง์ ์๊ฐ๋ด์ ํ๋์ฉ์ด๋ผ๋ ์ฌ๋ ค๋ณด๊ฒ ์ต๋๋ค.
- 1
- 1
- 31
Q&A
DuckDB API ์ฌ์ฉ์ Connection Error๊ฐ ๋ฐ์ํฉ๋๋ค.
์ ๊ฐ ์ ์ ์ด๊ฑธ ๋ต๊ธ์ ์ ์ฌ๋ ธ๋ค์ ใ ใ ๋จผ์ ์ฃ์กํ๋ค๋ ๋ง์ ๋๋ฆฌ๊ฒ ์ต๋๋ค. ํด๋น google colab์ ์์ ํ๊ณ ๋์ ๋ถ์ ์ด๋ค ๋ณํ๋ค์ด ์์๋์ง ์ ๋ฆฌํ๋๋ฐ ์ฌ๊ธฐ ๋ค์ ์ ์ด๋ณด๊ฒ ์ต๋๋ค:๊ฐ์ ์ถ์ ํ ๋ณ๊ฒฝ ์ฌํญ (1)DuckDB๊ฐ ํ ์ธ์ ๋ด์์ ํ๋๋ณด๋ค ๋ง์ ์ธ์ ์ ๋ง๊ธฐ ์์ํ์ต๋๋ค. ๊ทธ ๊ฒฐ๊ณผ ๊ฐ์ ๋ด์์ SQL extension์ผ๋ก ์ฐ๊ฒฐํ๊ณ Python API๋ก ์ฐ๊ฒฐํ๋ ๊ฑธ ๋์์ ์ฌ์ฉํ ์ ์๋ ๋ถํธํจ์ด ์๊ฒผ์ต๋๋ค.ํ๋ฒ์ ํ๋์ฉ๋ง ์ฐ๊ฒฐํ๊ฒ ๋ด์ฉ์ ๋ณ๊ฒฝํ๊ณ SQL extension ์ฌ์ฉ ์ ํ๋ก ์๋ ์ฝ๋๋ฅผ ์คํํฉ๋๋ค.%sql duckdb:///duckdb.db ... %sql --close duckdb:///duckdb.dbPython API ์ปค๋ฅ์ ์ ๊ฒฝ์ฐ ์๋ค๋ก ๋ค์ ์ฝ๋๋ฅผ ์คํํฉ๋๋ค.duckdb_con = duckdb.connect("duckdb.db") # ... duckdb_con.close()๊ฐ์ ์ถ์ ํ ๋ณ๊ฒฝ ์ฌํญ (2)์์ DuckDB ์ ๊ทธ๋ ์ด๋ ์ด์ธ์๋ SQLAlchemy 2.x๋ก ์ ๊ทธ๋ ์ด๋๋๋ฉด์, ๋ชจ๋ ์คํ์ด ํธ๋์ญ์ ์์์ ์ด๋ค์ง๋ฉด์ ์คํ์ด ๋ฌด์จ ์ด์ ์ด๊ฑด ์คํจํ๋ฉด ๋ช ์์ ์ผ๋ก ROLLBACK์ ํด์ฃผ์ด์ผ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด ๋ ๊ฐ์ SQL(SQL1, SQL2)์ ๋ณ๋ ์ ๋ก ์คํํ๋ค๋ฉด ์ ์๋ SQL1์ด ์คํจํด๋ ๋ค SQL2๋ฅผ ์คํํ๋๋ฐ ๋ฌธ์ ๊ฐ ์์์ต๋๋ค๋ง ์ด์ ๋ SQL1์ด ์คํจํ๋ฉด SQL2๋ฅผ ์คํํ๊ธฐ ์ ์ "ROLLBACK;"์ ์คํํด์ฃผ์ด์ผ ํฉ๋๋ค.SQL1; -- ์ด๊ฒ ์คํจํ๋ฉด ๋ค SQL2๋ฅผ ์คํํ๊ธฐ ์ ์ ์์ ROLLBACK์ ๋ณ๋๋ก ์คํํด์ฃผ์ด์ผํจROLLBACK; SQL2; ๋ฌธ์ ๊ฐ ๊ณ์๋๋ฉด ์๋ ค์ฃผ์ธ์!
- 1
- 4
- 282
Q&A
SWAP ๋ฌธ๋ฒ ํ์ฉ ์ด์
Snowflake์์๋ ๋ค๋ฅธ SQL ์์ง๋ค๊ณผ ๋ค๋ฅด๊ฒ DDL(Data Definition Language)๋ Transaction ๋์์ด ์๋๋ผ ๋ฐ๋ก๋ฐ๋ก ์ปค๋ฐํฉ๋๋ค. ๊ทธ๋์ ์ผ๋ฐ์ ์ธ Trasnaction์ ์ฌ์ฉํด์ ํ๋์ ํ ์ด๋ธ์ ์ญ์ ํ๊ณ ๋ค๋ฅธ ํ ์ด๋ธ์ ์ด๋ฆ์ ์ญ์ ๋ ํ ์ด๋ธ๋ก ๋ฐ๊ฟ์ฃผ๋ ๊ฒ์ด ๋ถ๊ฐ๋ฅํฉ๋๋ค. ๊ทธ๋์ ์ด์ฉ ์ ์์ด SWAP์ ์ด ๊ฑฐ๊ตฌ์ (์ฌ์ค ์ฑ๋ฅ๋ ์ข์ต๋๋ค). ๋ค๋ฅธ SQL ์์ง์์๋ ์ด์ผ๊ธฐํ์ ๊ฒ์ฒ๋ผ Transaction์ผ๋ก ์ฒ๋ฆฌํด์ฃผ์๋ฉด ๋ฉ๋๋ค.
- 1
- 2
- 32
Q&A
copy into ์ฑ๋ฅ ์ ํ
์๋ ํ์ธ์? ์์ํ์ ๋๋ก ์ ๋๋ค. COPY INTO๋ Stage๋ฅผ ์๋จ์ ๋ง๋๋ ๋ ธ๋ ฅ์ด ํ์ํ๊ธฐ์ ์ด๋ ์ ๋ ๋ ์ฝ๋ ์๊ฐ ๋์ง ์๋๋ค๋ฉด INSERT INTO๋ฅผ ๋ฐ๋ณตํ๋ ๊ฒ๋ณด๋ค ๋๋ฆฌ๊ฒ ๋์ํฉ๋๋ค. ๋ช ํํ ๊ท์น์ด ์์ง๋ ์์ง๋ง ๊ธฐ๋ณธ์ ์ผ๋ก ํ์ฌ ์ผ์ด๋ผ๋ฉด ๊ทธ๋ฅ COPY INTO๋ฅผ ์ฌ์ฉํ๋ ๋ชจ๋์ ํ๋ ๋ง๋ค์ด๋๊ณ ๋ชจ๋ ๊ทธ ๋ชจ๋์ ์ฌ์ฉํ๋ ํํ๋ก ๊ฐ๋ ๊ฒ์ด ์ข์ต๋๋ค. ๊ทธ๋์ผ ์ผ๊ด์ฑ๋ ์๊ธฐ๊ณ ์ฒ๋ฆฌํ๋ ๋ฐ์ดํฐ์ ํฌ๊ธฐ๊ฐ ๋์ค์ ์ปค์ ธ๋ ๋ฌธ์ ๊ฐ ๋์ง ์์ต๋๋ค. ์ข์ ์ง๋ฌธ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
- 1
- 2
- 49
Q&A
๋ฐ์ดํฐ ๊ฐ์ ธ์ฌ๋ 1๋ฌ์น๋ง ๊ฐ์ ธ์ค๋ ์ํ
๋ฐ๊ฒฌ ๊ณต์ ํด์ฃผ์ ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
- 1
- 2
- 50
Q&A
๊ฐ์์๋ฃ๊ฐ ๋น์ด์์ด์
๊ฐ์ ์๋ฃ ํ์ผ์ ์ง๊ธ ๋ฐ์์ ์์ถ์ ํ์ด๋ณด๋ ์ฌ๋ผ์ด๋ ํด๋ ์๋์ฒ๋ผ PDF ํ์ผ๋ค์ด ๋ณด์ ๋๋ค. ๋ค์ ํ๋ฒ ํ์ธํด๋ณด์ธ์. (์ฌ์ง)
- 0
- 2
- 50
Q&A
pdf ๋งํฌ ์ค๋ฅ
PDF์์ ๋งํฌ๊ฐ ๊นจ์ง ๋ชจ์์ด๋ค์. ๋ชจ๋ Google Colab ๋ ธํธ๋ถ์ ๋ํ ๋งํฌ๋ ํด๋น ๊ฐ์์ ์์ ๋ ธํธ์๋ ์์ผ๋ ์ผ๋จ ๊ทธ๊ฑธ ์ฐธ๊ณ ํด๋ณด์ธ์. ํด๋น ๋ ธํธ์ ์๋ ๋งํฌ๋ฅผ ์๋ ๋ณต์ฌํ์ต๋๋ค:Google Colab ๋งํฌ์ด๊ฑธ๋ก ๋ฌธ์ ๊ฐ ํด๊ฒฐ์ด ์๋๋ฉด ์๋ ค์ฃผ์ธ์!
- 0
- 2
- 55
Q&A
databricks - ๋ฌด๋ฃ๋ฒ์ ๋ณ๊ฒฝ
์๊ฐ๋ณด๋ค ์ผ์ด ๋ง๋ค์. "(2025.07.22) Databricks Community Edition ์ค๋จ์ผ๋ก ์ธํ ์ค์ต ํ๊ฒฝ ๋ณ๊ฒฝ"๋ผ๋ ์ ๋ชฉ์ผ๋ก ์น์ 1์ ์ฑํฐ๋ฅผ ํ๋ ์ถ๊ฐํ์ต๋๋ค. ๊ทธ ๋ด์ฉ์ ์์ฝํ๋ฉด 2025๋ 6์์ด ์ ์ Databricks Community Edition ๊ณ์ ์ ๋ง๋ ์ฌ๋์ ์ฐ๋ง๊น์ง ์ฌ์ฉ ๊ฐ๋ฅํฉ๋๋ค. ๋๋ค์์ ํ์ฌ ์๊ฐ์ ๋ถ๋ค์ด ๊ทธ์ ์ ์์ํ์ ๋ถ๋ค์ด๋ผ ๊ณ์ ์ด ์๋ค๋ ์ ์ ํ์ ํ์ฌ ์ค์ต ๋ด์ฉ์ ๊ทธ๋๋ก ๋ ์์ ์ ๋๋ค.Databricks Community Edition ๊ณ์ ์ด ์๋ ์ฌ๋์ ๊ฐ๋จํ ์ค์ต์ Google Colab์ผ๋ก ํ๊ณ Google Colab์ ์๋๋ ๊ฒ๋ค๋ง Databricks Free Edition์ ์ฌ์ฉํ๊ฒ ๋ง๋ค ์๊ฐ์ธ๋ฐ ์ฌ๊ธฐ์๋ ์๋ 3๊ฐ์ง ์ค์ต์ด ํฌํจ๋ฉ๋๋คCSV, PARQUET, DELTA แแ กแแ ตแฏ แแ ฅแผแแ ณแผ แแ ตแแ ญแแ กแแ ฉ DELTAแแ ด Time Travel แแ กแแ ญแผแแ กแแ ตPandas vs. Spark 100M & 1B แ แ ฆแแ ฉแแ ณ แแ ฅแ แ ต แแ ฅแผแแ ณแผ แแ ตแแ ญแแ กแแ ตShuffling JOINแแ ช Broadcast JOIN แแ กแจแแ ณแธแแ กแแ ต์ ์ธ ๊ฐ์ง๋ฅผ ์ ์ธํ ๋๋จธ์ง Community Edition ์ค์ต ๋ ธํธ๋ถ๋ค์ ๋ชจ๋ Google Colab ๋ฒ์ ์ผ๋ก ํ ์คํธํด์ ๋งํฌ๋ฅผ ํด๋น ์ฑํฐ์ ์ค์ต๋ ธํธ ํํธ์ ์ถ๊ฐํ์ต๋๋ค.์ 3๊ฐ์ง Free Edition ์ฉ ์ค์ต ๋ ธํธ๋ถ์ ์์ง ๋ง๋ค์ง ๋ชปํ๊ณ Free Edition ์ฌ์ฉ๋ฒ์ ๋ํ ์์์ ํ๋ ๋ง๋ค๊ณ ๊ฐ์ด ์ฌ๋ฆด ์์ ์ด๋ฉฐ ์ด ์์ ์ ์ด๋ฒ ์ฃผ์ ์งํํ๋ ค๊ณ ํฉ๋๋ค.ํน์ ์ง๋ฌธ์ด ์๋ค๋ฉด keeyong@gmail.com์ผ๋ก ๋ฐ๋ก ์ด๋ฉ์ผ ์ฃผ์ธ์. ์ด๋ฉ์ผ๋ก ์ด์ผ๊ธฐ๋ฅผ ๋๋๊ณ ๋ณด์ํด์ ์ฌ๊ธฐ์๋ ์ ๋ฆฌํ๊ณ ์ปค๋ฆฌํ๋ผ์๋ ๋ฐ์ํด๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค.
- 1
- 6
- 114






