ํ์ด์ฌ ์๊ณ ๋ฆฌ์ฆ ํธ๋ ์ด๋ฉ ํํธ1: ์๊ณ ๋ฆฌ์ฆ ํธ๋ ์ด๋ฉ์ ์ํ ํ์ด์ฌ ๋ฐ์ดํฐ ๋ถ์
S&P 500 ํ์ด ํธ๋ ์ด๋ฉ์ ํต๊ณ์ ์ ๊ทผ๋ฒ์ ํ์ด์ฌ์ผ๋ก ์ฒด๊ณ์ ์ผ๋ก ํ์ตํ์ค ์ ์์ต๋๋ค. ์ ๋ฌธ์ ์ธ ๋ฐ์ดํฐ ๋ถ์์ ํตํด ๊ฐ์ ์ ๋ฐฐ์ ํ ํฌ์ ์ ๋ต์ ๊ธฐ์ด๋ฅผ ๋ง๋ จํ์ธ์.
์๊ฐ์ 169๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

์๋ ํ์ธ์, ์๊ฐ์ ์ฌ๋ฌ๋ถ. ๋ค๋์์ ๋๋ค.
๋จผ์ ์ ๊ฐ์๋ฅผ ์๊ฐํด ์ฃผ์๊ณ , ๋ค์ํ ์ฑ๋์ ํตํด ์์คํ ์๊ฒฌ์ ๋๋ ์ฃผ์ ์ ์ง์ฌ์ผ๋ก ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
์ฒ์ ์ด ๊ฐ์๋ฅผ ์ ์ํ ๋๋ ๊ณ ๋์ด๋ ๋ด์ฉ์ด๋ผ๋ ์ ๋๋ฌธ์ ์์์ ๋ถ๋ค๋ง ์๊ฐํ์๋ฆฌ๋ผ ์์ํ์์ต๋๋ค. ํ๋ฆฌ๋์๋ก ์ฐธ์ฌํ๋ ์ค์ ํ๋ก์ ํธ๋ฅผ ์ ๋ฆฌํ๋ ๋ชฉ์ ์ด ์ปธ๊ณ , ์ ์ค์ค๋ก๋ ๋์ค์ ๋ณต์ตํ ์ ์๋๋ก ๊ธฐ๋กํด ๋๋ ค๋ ๋ง์์ผ๋ก ์์ํ๊ธฐ ๋๋ฌธ์ ๋๋ค. ๊ทธ๋์ ์ค์ ํ์ ์ ๋ด์ฉ์ ๊ทธ๋๋ก ๋ฐ์ํ ๋งํผ, ๋ค์ ๋์ ๋์ด๋๋ฅผ ๊ฐ๊ฒ ๋ ์ ์ํด ๋ถํ๋๋ฆฝ๋๋ค.
๊ฐ์๊ฐ ๊ณต๊ฐ๋ ์ดํ ์๊ฐ์ด ๊ฝค ํ๋ ๊ณ , ์ต๊ทผ์๋ ์ฌ๋ฌ ์๊ฐ์ ๋ถ๋ค๊ป์ ๊ฐ์ ๊ฐ์ ์ ๋ํ ์๊ฒฌ์ ๊ณต์ ํด ์ฃผ์ จ์ต๋๋ค. ๋๋ถ์ ์ด์ ๊ฐ์๋ฅผ ์ ๋ฐ์ดํธํ ์์ ์ด ๋์๋ค๊ณ ํ๋จํ๊ฒ ๋์์ต๋๋ค. ์ข์ ํผ๋๋ฐฑ์ ๋ณด๋ด์ฃผ์ ๋ชจ๋ ๋ถ๋ค๊ป ๊น์ ๊ฐ์ฌ๋ฅผ ๋๋ฆฝ๋๋ค.
๋ค๋ง, ์ ๋ฐ์ดํธ๋ ๋ค์ ์๊ฐ์ด ์์๋ ์์ ์ ๋๋ค. ์ฝ 2~3์ฃผ ์ ๋ ์์๋ ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค. ์ต๊ทผ ๋ ์ผ์์ ์ ์ํํธ๋ก ์ด์ฌ๋ฅผ ํ๋ฉด์ ์์์น ๋ชปํ ๋ฌธ์ ๋ค์ด ์๊ฒผ๊ณ , ํ์ฌ๋ ์ธํฐ๋ท ์ฐ๊ฒฐ์ด ๋์ง ์์ ์ํ์ ๋๋ค. ์์๋ก ํ ๋๋ง์ ์ฌ์ฉํ๊ณ ์์ผ๋, ํ๊ตญ๊ณผ๋ ๋ฌ๋ฆฌ ๋ ์ผ์ ์ธํฐ๋ท ์ธํ๋ผ๊ฐ ๊ทธ๋ฆฌ ์์ ์ ์ด์ง ์์ ์์ ์ดฌ์์ด๋ ๊ณ ํ์ง ์ ๋ก๋๊ฐ ์ด๋ ค์ด ์ํฉ์ ๋๋ค. ์ํฉ์ด ๊ณ์ ์ง์ฐ๋ ๊ฒฝ์ฐ, ๊ณต์ ์คํผ์ค๋ฅผ ๋์ฌํ๊ณ ์ฅ๋น๋ฅผ ์ฎ๊ฒจ ์ง์ ์ดฌ์ํ๋ ๋ฐฉ์๋ ๊ณ ๋ คํ๊ณ ์์ต๋๋ค.
๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ , ๊ฐ์ ๊ฒ์ํ์ด๋ ์ด๋ฉ์ผ์ ํตํ ์ง๋ฌธ์๋ ๋ณํจ์์ด ์ฑ์คํ ๋ต๋ณ๋๋ฆด ์์ ์ ๋๋ค. ์ธํฐ๋ท ํ๊ฒฝ์ด ์์ ๋๋ ๋๋ก 1:1 ์ธ์ ๋ ์ด ์ ์๋๋ก ์ค๋นํ๊ฒ ์ต๋๋ค. ํ์ฌ๋ก์๋ Zoom์ด๋ Google Meet ์ฌ์ฉ ์ ๋๊น ํ์์ด ์ฌํ ์ ์ํด ๋ถํ๋๋ฆฝ๋๋ค.
๊ฑด๊ฐ ์ ์ํ์๊ณ , ์์ผ๋ก๋ ๊พธ์คํ ํ์ต ์ด์ด๊ฐ์๊ธธ ์์ํ๊ฒ ์ต๋๋ค. ์ธ์ ๋ ์ฌ๋ฌ๋ถ์ ํ์ต์ ๋์์ด ๋ ์ ์๋๋ก ์ต์ ์ ๋คํ๊ฒ ์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค.
๋ค๋์ ๋๋ฆผ์๋ ํ์ธ์! ์๊ฐ์ ์ฌ๋ฌ๋ถ!
๋์ ์ด์ง๋ง ์ฌ๋ฌ๋ถ๋ค ์ ์ง๋ด๊ณ ๊ณ์ ๊ฐ์? ์ ๊ฐ ์ฌ๋ ์ง์ญ์ ๋ ์ผ์ด๊ณ ํ๋ฆฌ๋์๋ก์ ์์ฆ ์ฌ๋ฌ ์ผ๋ค์ ์งํํ๋๋ผ ์ ์ ์ด ์๋ค์. ์ต๊ทผ์๋ ํํธ ๊ด๋ จ๋ ๋ช ๊ฐ์ง ์ผ๋ ํ ๊ธฐํ๊ฐ ์์์ต๋๋ค.
์๋ก์ด ๊ฐ์๋ฅผ ์ถ๊ฐํด์ ๊ฐ๋จํ ๊ณต์ง๋ฅผ ๋๋ฆฝ๋๋ค.
์ถ๊ฐ๋ ๊ฐ์๋ ์น์ 2์ "ํ๋์จ์ด ์ฉ๋ ์ฌ์ฉ ์น์ธ ์์ฒญ์ ๋ํ Trobule Shooting"์ ์ ๋ก๋ ํ์์ต๋๋ค.
๊ฐ๋จํ ๋ด์ฉ์ด๊ธฐ๋ ํ๋ฐ ๊ตฌ๊ธ ๊ฒ์์ด๋ Chatgpt๊ฐ ์ ๋๋ตํ ์ ์๋ ๋ด์ฉ์ด๊ธฐ ๋๋ฌธ์ ํฌ์์ฑ์ผ๋ก์์ ๊ฐ์น๊ฐ ์์ ๊ฒ ๊ฐ์ต๋๋ค.๊ทธ๋ผ ์ด์ ๊ณง 9์์ธ๋ฐ ์ฌ๋ฌ๋ถ๋ค ์ฆ๊ฒ๊ฒ ํ์ต์ ์ด์ด๋๊ฐ์๊ธฐ ๋ฐ๋๋๋ค.
๋ํ ํํธ ๊ฐ์ 3์ ๋ง๋ฐ์ง ์์ ์ ์์ต๋๋ค. ์ด ๋ถ๋ถ๋ ๊ณํ ์์ ์ผ๋ณด๋ค ์ง์ฐ์ด ๋์๋ค์. ใ .ใ . ํด๋ผ์ฐ๋์์ ๊ฑฐ๋ ์๋ํ์ ์ค์ ์ ๋ ๋ด์ฉ์ธ๋ฐ ๋ ์๋ก์ด ๊ฐ์์์ ์ฌ๋ฌ๋ถ๋ค ๋ง๋๋ต๋ฉด ์ข์ ๊ฒ ๊ฐ์ต๋๋ค.

๊ฐ์ฌํฉ๋๋ค.
๋ค๋์ ๋๋ฆผ
์๋ ํ์ธ์,
๊ฐ์ฌ ๋ค๋์์ ๋๋ค.
์์ ์๋ฃ์ ์์ ๋ด์ฉ ์ ๋ฐ์ดํธ ์ฌํญ์ ๊ณต์ง ๋๋ฆฝ๋๋ค.
์์ ์ ์น์ 0์ ์ ๋ฐ์ ์ธ ์ฌํญ์ด ์ ๋ฐ์ดํธ ๋์์ผ๋ฉฐ ํนํ ์น์ 0์ ์์ 1์ ํ์ต์ ์ ๊ทน ์ถ์ฒ ๋๋ฆฝ๋๋ค.
์์ ์๋ฃ๋ ์๋์ ๋ณ๊ฒฝ ์ฌํญ์ด ์์ต๋๋ค.
Bollinger_Bands_ZScore_Windows.ipynb๊ฐ ์๋ฃ๊ฒ ์ถ๊ฐ ๋์์ผ๋ฉฐ ์น์ 0์ ์์ 1์์ ๋ค๋ฃจ์ด์ง๋๋ค.
PairsTrading_EDA.ipynb ์ sp500 ๋ด์ฉ์ ์ ๋ฐ์ดํธํ์์ต๋๋ค.
์์ ์๋ฃ ํ๋ฆฌ์ ํ ์ด์ ์ ์ถ๊ฐํ์์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค.
๋ค๋์ ๋๋ฆผ
์๊ฐ์ ์ฌ๋ฌ๋ถ! ์๋ ํ์ธ์.
์๋ก์ด ๋ถํธ์บ ํ๋ฅผ ์๋ดํด ๋๋ฆฌ๊ณ ์ ํฉ๋๋ค.
๋ถํธ์บ ํ๋ ๋์ปค๋ก ๋๋ง์ ๋ฅ๋ฌ๋ ์ปดํจํฐ ๋ง๋ค๊ธฐ ์ค ํ์ด์ฌ์ ์ค์ ์ ๋ ๊ฐ์์ด๋ฉฐ, ์ฒ ์ ํ ์ค์ต ์์ฃผ๋ก ์ด๋ฃจ์ด์ง ์์ ์ ๋๋ค.
๋ถํธ์บ ํ ๋ง์ด ๊ฐ์ง๊ณ ์๋ ๊ณ ์ ์ ์ฅ์ ์ด ์์ต๋๋ค.
์ฒซ ๋ฒ์งธ๋ ๋ชฐ์ ์ ์ ๋์ ๋๋ค.
๋ ๋ฒ์งธ๋ ์ ์ฐํฉ์ ๋๋ค. ์๊ฐ์ ๋ถ๋ค์ด ์์ ๋กญ๊ฒ ์ง๋ฌธํ์๊ณ ๊ทธ๋ ๊ทธ๋ ๋ง์ถค ๋๋ต์ ํตํด์ ๋ชจ๋ ๋ด์ฉ์ 100% ์ดํดํ์ค ์ ์๋๋ก ๊ฐ์๋ฅผ ์งํํ ์์ ์ ๋๋ค.
์๊ฐ์ ๋ถ๋ค์๊ฒ ์ค์ต์ ์ํ์ฌ GPU ๊ธฐ๋ฐ์ ๊ฐ์ ๋จธ์ ์์ ํ๊ฒฝ์ ์ ๊ณต ์์ ์ด๋,
์ ์ง์์ด๋ ์ค๋น ์ฌํญ์ ๋ํ ๋ถ๋ด ์์ด ์ฐธ์ฌํ์ค ์ ์์ต๋๋ค.
์๋ ๋งํฌ๋ฅผ ํ์ธํ์ธ์.
๊ฐ์ฌํฉ๋๋ค.
๋ค๋์ ๋๋ฆผ
์๋ ํ์ธ์, ๋ค๋์์ ๋๋ค.
์์ ์์ ์ํ๋ ์ฑ๊ณผ๋ฅผ ์ป๊ณ ๊ณ์ ๊ฐ์?
์น์ 1์ ๋ง์ง๋ง ์์ ์ ์ถ๊ฐํ์์ต๋๋ค.
๋ด์ฉ์ ๊ฐ์ ๋จธ์ ์์ฑ ๋๋ ๊ณ์ ๊ด๋ จ ๋ฌธ์ ๋ฐ์ ์์ azure๋ก ์ง์ ์ฐ๋ฝํ๋ ๋ฐฉ๋ฒ์ ๋ํ ์ค๋ช ์ ๋๋ค.
์์ ์ด ์ค์ ์ ์ธ ๋์์ด ๋๊ธธ ๋ฐ๋๋๋ค.
๊ฐ์ฌํฉ๋๋ค.
๋ค๋์ ๋๋ฆผ
์๋ ํ์ธ์, ์๊ฐ์ ์ฌ๋ฌ๋ถ.
๋ค๋์์ ๋๋ค. ๋ด์ ์ ๋ณด๋ด๊ณ ๊ณ์ ๊ฐ์? ๐
์๊ฐ์ ๋ถ๋ค์๊ฒ ๋ค์ ํ ๋ฒ ์ ์ ํํธ ๊ฐ์๋ฅผ ์๊ฐํด ์ฃผ์ ์ ๊ฐ์ฌ๋๋ฆฐ๋ค๋ ๋ง์์ ์ ํฉ๋๋ค.
5์ 10์ผ ์ ๋ 8์์ ์งํ๋ ์ ์ ๋ผ์ด๋ธ ๊ฐ์๋ฅผ ์๊ฐํด ๋๋ฆฌ๊ณ ์ ์ด๋ ๊ฒ ์์์ ์์ฑ์ ํ๊ฒ ๋์์ต๋๋ค.
๊ฐ์๋ ๋์ปค๋ฅผ ์ฌ์ฉํด์ PySpark ์์ง์ ์์ฑํ๋ ๋ผ์ด๋ธ ๋ถํธ ์บ ํ์ ๋๋ค.
PySpark๋ sql ๋ฌธ๋ฒ์ ๊ธฐ์ดํ๊ณ ์๊ธฐ ๋๋ฌธ์ ์ ๋ง ์ฝ์ต๋๋ค.
ํ์ง๋ง ํ๊ฒฝ์ ๊ตฌ์ฑํ๋ ๊ฒ์ ๋์ด๋๊ฐ ๋๊ธฐ๋ ํ๊ณ Databricks์ ๊ฐ์ ์๋น์ค๋ฅผ ์ด์ฉํ๊ธฐ์๋ ๋น์ฉ์ ์ธ ๋ถ๋ถ์์ ๋ถ๋ด์ด ๋๊ธฐ ๋๋ฌธ์ ๊ฐ์ธ ํ์ต์๊ฐ ํ์ต์ ์์ํ๊ธฐ์๋ ๋ฐ์ด๋์ด์ผ ํ ํ๋ค์ด ๋์ ๊ฒ๋ ์ฌ์ค์ ๋๋ค.
๊ทธ๋์ ์ ๊ฐ์๋ ๊ฐ์ธ์ ๋ก์ปฌ ์ปดํจํฐ์ Docker๋ฅผ ์ด์ฉํด์ PySpark ์ ํ ์ ํ ์์ ์ ๋๋ค.
๋ง์ฝ ์ฌ๋ฌ๋ถ์ด, ๋์ปค๋ ๋ฌด์ธ๊ฐ ๊ฐ๋ฐ์์ค๋ฌ์ด ๋ด์ฉ์ ๋ถ๋ด์ ๋๋ผ์ ๋ค๋ฉด ๋ผ์ด๋ธ ๊ฐ์ ์ค ๋ฆฌ๋ชจํธ๋ก ์ ์ํด์ ํธ๋ฌ๋ธ ์ํ (Trouble Shooting)์ ํ ์์ ์ด๋ ์ ์ ์ง์์ ๋ํ ๋ถ๋ด์ ๋ด๋ ค ๋์ผ์ ๋ ๋ ๊ฒ ๊ฐ์ต๋๋ค.
๋ฐ๋ผ์ ๊ธฐ๋ณธ ์ธ์ ์ดํ์ ์ผ์ ์ ๋ค์ ๊ณํํด์ ์ถ๊ฐ์ ์ธ ์ธ์ ์ด ๋ฐ์ํ ์๋ ์์ต๋๋ค. 3์๊ฐ ๊ฐ์๋ฅผ ๊ณํํ์ผ๋ ์ค๊ฐ์ ์ด๋ค ๋ณ์๊ฐ ์๊ธธ์ง ๋ชจ๋ฅด๋๊น์. ๋ค๋ง ์ง์ ๊ณต์ ์์ธ ์ ๊ฐ ์ฌ๋ฌ๋ถ์๊ฒ ๊ฒฐ๊ณผ๋ฅผ ๋๊น์ง ์ฑ ์์ง ์ ์๋ค๋ ๊ฒ์ ์ฝ์์ ๋๋ฆด ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค.
๊ฐ์๋ ์๋ ๋งํฌ์ ์์ต๋๋ค.
๊ฐ์์์ ํจ๊ป ์ผ๊ตด ๋ณด๋ฉด์ ์์ ํด์.
๊ฐ์ฌํฉ๋๋ค.
๋ค๋์ ๋๋ฆผ






