โ๊ฑฐ์น ์ง๋ง ์ ์ตํโ ๊ฑฐ์น์ฝ๋ฉ๊ณผ ํจ๊ป,
๊ธฐ์ด๋ถํฐ ์์๊ฐ๋ ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ๐
๋จธ์ ๋ฌ๋ ์ฒซ๊ฑธ์ ์ ๋๋ก ๋ผ๊ณ ์ถ๋ค๋ฉด?
๋จธ์ ๋ฌ๋์ ์์ํ๊ธฐ ์ํด ๋ฐ๋์ ์์์ผ ํ
๊ธฐ์ด ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ฐ
์ค์ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ๋ํด ๋ฐฐ์๋ณด์ธ์!
#Pandas #Matplotlib #Seaborn
์, ํน์ ๋ด ์๊ธฐ ์๋๊ฐ์?
์์ฆ ์ธ๊ธฐ์๋ ๋จธ์ ๋ฌ๋์ด
์ข๋ค๋ ๊ฑด ์๊ฒ ๋๋ฐ,
์ด๋์๋ถํฐ ์์ํ ์ง ๋๋ฌด ๋ง๋งํด์.
๋จธ์ ๋ฌ๋์ ์ด๋ฏธ ๋ฐฐ์ ๊ณ
์ ์ฉํ๊ณ ์๊ธฐ๋ ํ๋ฐ,
๋ด๊ฐ ์ ๋๋ก ์๋ ๊ฒ ๋ง๋์ง ๋ชจ๋ฅด๊ฒ ์ด์.
๋จธ์ ๋ฌ๋, ์ ์ค์ํ ๊น์?
๋ ์ด ๊ฐ์๋ก ์ค์์ฑ์ด ์ปค์ ธ๊ฐ๊ณ ์๋ ๋จธ์ ๋ฌ๋!
๋จธ์ ๋ฌ๋์ด๋ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๊ณ ๋ค์ํ ํต๊ณ์ ์๊ณ ๋ฆฌ์ฆ์ ํ์ฉํ์ฌ ํ์ตํ๋๋ก ์ปดํจํฐ๋ฅผ ํ๋ก๊ทธ๋๋ฐํ๋ ๊ฒ์ ๋งํฉ๋๋ค.
๊ทธ๋ฐ๋ฐ, ๋จธ์ ๋ฌ๋์ ์ ์ฌ์ฉํ๋์ง ์๊ณ ๊ณ์ ๊ฐ์?
์ ํต์ ์ธ ๊ธฐ๋ฒ์ ํตํด ์๋น์ค ๋ด ์คํธ ์ฒ๋ฆฌ๋ฅผ ์ํ ํํฐ๋ฅผ ๋ง๋๋ ๊ฒฝ์ฐ๋ฅผ ์๋ก ๋ค๊ฒ ์ต๋๋ค.
์ด ๊ฒฝ์ฐ, ๋ค์๊ณผ ๊ฐ์ ๋ฐฉ์์ผ๋ก ์คํธ ํํฐ๋ฅผ ๋ง๋ค๊ฒ ๋์ฃ .
- ์คํธ์ ์ฃผ๋ก ๋ค์ด๊ฐ๋ '์ ์ฉ์นด๋', '๋ฌด๋ฃ', '๊ด๊ณ ', '๋์ถ' ๊ฐ์ ๋จ์ด, ๊ตฌ์ ์ด ์๋ ๋ฌธ์ฅ ํจํด์ ๊ฐ์งํ๋ค.
- ๋ฌธ์ฅ ํจํด ๊ฐ์ง๋ฅผ ํ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ง๋ค์ด์ ๋ฉ์ผ ์คํธ์ ๋ถ๋ฅํ๊ฒ ํ๋ค.
- ์๊ณ ๋ฆฌ์ฆ ํ
์คํธ ๋ฐ ํ๊ฐ๋ฅผ ์งํํ๋ค.
์ ๋ฐฉ์์ ๊ฐ๋จํด ๋ณด์ด์ง๋ง, ๋ฌธ์ ๊ฐ ์ ์ ๋ณต์กํด์ง๊ณ ๊ท์น์ด ๋ง์์ง๋ฉด ์ ์ง๋ณด์๊ฐ ํ๋ค์ด์ง๋๋ค.
๋ฐ๋ฉด ๋จธ์ ๋ฌ๋์ ํ์ฉํ๋ฉด ์คํธ์์ ๋ฐ์๋๋ ํจํด์ ์๋์ผ๋ก ํ์ตํจ์ผ๋ก์จ ์ ์ง๋ณด์ ์ฉ์ด ๋ฐ ์ ํ๋๋ฅผ ํจ์ฌ ํจ๊ณผ์ ์ผ๋ก ๋์ผ ์ ์์ต๋๋ค.
๊ทธ๋์ ์ฐ๋ฆฌ๋
๋จธ์ ๋ฌ๋์ ๋ฐฐ์์ผ ํฉ๋๋ค!
๋จธ์ ๋ฌ๋ ํ์ต์ด
์ด๋ ต๊ฒ๋ง ๋๊ปด์ก๋ค๋ฉด?
์์ฆ ๋จธ์ ๋ฌ๋ ๊ธฐ์ ์ด ์ฌ๋๋ค์๊ฒ ๋๋ฆฌ ์๋ ค์ง๊ณ ๋ง์ ์ฌ๋๊ณผ ์ธ๊ธฐ๋ฅผ ๋ฐ๊ณ ์๋ ๋งํผ ์์ค์ ๊ด๋ จ ๊ฐ์๊ฐ ์ ๋ง ๋ง์ต๋๋ค. ํ์ง๋ง ๋๋ถ๋ถ์ ๊ฐ์๊ฐ ๊ฑฐ์ ๋๊ฐ์ ํจํด์ผ๋ก ์ฃผ์ ๋ ๊ฐ๋
์ ๋ํด์๋ง ๋ฑ๋ฑํ๊ฒ ์ค๋ช
ํ๊ณ ์์ต๋๋ค. ์ค์ ์ด๋ป๊ฒ ์ ์ฉ๋๊ณ , ์ฌ์ฉํ ์ ์๋์ง์ ๋ํด์๋ ์ค๋ช
์ด ๋ถ์กฑํ ์ํฉ์ด์ฃ .
๊ทธ๋์ ์ด ๊ฐ์๋ ๋ค๋ฅธ ๊ฐ์๋ค์ฒ๋ผ ๋ฐ๋ก ๋จธ์ ๋ฌ๋์ด๋ผ๋ ์ฃผ์ ๋ก ๋ค์ด๊ฐ์ง ์์ต๋๋ค.
๋์ ์ค์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๊ณ ์์ ์์ฌ๋ก ์ ์ฒ๋ฆฌํด๋ณด๊ณ ์๊ฐํํ๋ฉด์, ์ค์ ๋จธ์ ๋ฌ๋์ ํด๋ณด๊ธฐ ์ ๊ผญ ํ์ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋ํด ๋ฐฐ์๋ณธ ๋ค์ ์ ๋ฐ์ ์ธ ๋จธ์ ๋ฌ๋ ๊ฐ๋
์ ๋ํด์ ๋ฐฐ์๋ณผ ๊ฒ์
๋๋ค.
๋จธ์ ๋ฌ๋์ โ์ ๋๋กโ ๋ฐฐ์ธ ์ ์๋๋ก.
๐ก ๋จธ์ ๋ฌ๋์ ์์ํ๊ธฐ ์ํ ๋ฐฉํฅ ์ค์ ์ ํ ์ ์์ต๋๋ค.
๐ก ๋จธ์ ๋ฌ๋์ ๋ํ ๊ธฐ๋ณธ ๊ฐ๋
์ ํ์คํ ์ตํ ์ ์์ต๋๋ค.
๐ก ๋จธ์ ๋ฌ๋ ์ด์ธ์ ๋ถ์์ ํ์ํ ์ญ๋์ ๊ธฐ๋ฅผ ์ ์์ต๋๋ค.
๊ทธ๋์ ์์์ฌ๋ฆฐ ๋
ธํ์ฐ๋ฅผ ๋ฐํ์ผ๋ก ๋จธ์ ๋ฌ๋์ ํจ๊ณผ์ ์ผ๋ก ๋ฐฐ์ธ ์ ์๋๋ก ๋์๋๋ฆฝ๋๋ค.
๋จธ์ ๋ฌ๋, ํจ๊ป ๋์ ํด๋ณด์ค๊น์?
์ด๋ฐ ๋ถ๋ค ์ฃผ๋ชฉํ์ธ์!
ํ์ด์ฌ ๋ฐ์ดํฐ ๋ถ์์
๊ด์ฌ์๋ ๋ถ
๋จธ์ ๋ฌ๋ ๊ณต๋ถ๋ฅผ
์ฒ์ ์์ํ์๋ ๋ถ
๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ, ๊ฐ๊ณต์
๋ฐฐ์ฐ๊ณ ์ถ์ ๋ถ
๋จธ์ ๋ฌ๋ ์ด๋ก ์
๋ณต์ตํ๊ณ ์ถ์ผ์ ๋ถ
์ ์ ์ง์์ ํ์ธํด์ฃผ์ธ์!
- ํ๋ก๊ทธ๋๋ฐ ์ธ์ด ํ์ด์ฌ(Python)์ ๋ํ ๊ธฐ์ด ๋ฌธ๋ฒ์ ์๊ณ ์์ด์ผ ํฉ๋๋ค.
์ด๋ค ๋ด์ฉ์ ๋ฐฐ์ฐ๋์?
Kaggle
Pandas
Matplotlib
Scikit-Learn
์ด ๊ฐ์์
์ฅ์ ์ ํ์ธํ์ธ์.
ํต์ฌ๋ง ์ ๋๋ก!
์์ค์ ๋ค๋ฅธ ๋ง์
๋จธ์ ๋ฌ๋ ๊ฐ์์ ๋ค๋ฅด๊ฒ,
๊ผญ ํ์ํ ๋ด์ฉ๋ง
์์ฝํด ์๊ฐํด๋๋ฆฝ๋๋ค.
์ค์ต์ผ๋ก ๋ ๋ฒจ ์
์ด๋ก ์๋ง ๊ทธ์น์ง ์๊ณ
์ฌ์ดํท๋ฐ ๋นํธ์ธ ๋ฐ
์บ๊ธ ๋ฐ์ดํฐ๋ฅผ ํ์ฉํ
์ค์ต์ ์ ๊ณตํด๋๋ฆฝ๋๋ค.
์ด๋ณด์๋ฅผ ์ํ ๋จธ์ ๋ฌ๋
ํ์ด์ฌ ๊ธฐ์ด๋ฅผ ์๊ณ ์๋
์ด๋ณด์์ ๋๋์ด์ ๋ง์ถฐ
์ด๋ ต์ง ์๊ฒ
๊ฐ๋
์ ์ตํ ์ ์์ต๋๋ค.
๋ฐ์ดํฐ ๋ถ์๋?
๋จธ์ ๋ฌ๋ ๊ฐ๋
๋ฟ๋ง ์๋๋ผ
๋ฐ์ดํฐ ๋ถ์์ ํ์ํ
๋ผ์ด๋ธ๋ฌ๋ฆฌ ํ์ฉ์
๋ํด์๋ ์๊ฐํฉ๋๋ค.
๋จธ์ ๋ฌ๋์ โ์ ๋๋กโ ๋ฐฐ์ธ ์ ์๋๋ก.
โ
์ง๊ธ๊น์ง ๋จธ์ ๋ฌ๋์ ๋ฐฐ์ฐ๋ฉฐ ๊ฒช์ ๊ณผ์ ์์ ์ฒด๋ํ ๋
ธํ์ฐ๋ฅผ ํตํด ํจ๊ณผ์ ์ธ ๊ณต๋ถ๋ฒ์ ์๋ ค๋๋ฆฝ๋๋ค.
โ
์ ๋ฐ์ ์ธ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ๋ํ ์ด๋ก ๊ฐ์๋ฅผ ํตํด ํท๊ฐ๋ ธ๋ ๊ฐ๋
์ ์๊ธฐ์ํฌ ์ ์๊ฒ ๋์๋๋ฆฝ๋๋ค.
โ
๊ณต๋ถํ์๋ค๊ฐ ์ด๋ ค์ด ๊ฒ ์์ผ์๋ฉด ์ง๋ฌธ์ ์์ ๋กญ๊ฒ ๋จ๊ฒจ์ฃผ์ธ์. ๋ต๋ณ์ ํตํด ํด๊ฒฐํด๋๋ฆฌ๊ฒ ์ต๋๋ค.
๊ธฐ์ด๋ถํฐ ์์๊ฐ๋ ๋จธ์ ๋ฌ๋,
์์๋๋ก ํ์ตํด๋ณด์ธ์!
1์ฃผ์ฐจ: Colab ์ค์ ๋ฐ Pandas ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๊ธฐ์ด ์ค์ต
- Pandas ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํ์ฉํ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ
- ๋ฐ์ดํฐ ๋ถ๋ฌ์ค๊ธฐ ๋ฐ ์ ์ฅ
- Series
- DataFrame
- DataFrame ํ, ์ด ์ ํ ๋ฐ ํํฐ๋ง
- DataFrame ํ, ์ด ์ญ์
- DataFrame ํ, ์ด ์์
2์ฃผ์ฐจ: pandas ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๊ธฐ์ด ์ค์ต #2
- Pandas ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํ์ฉํ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ
- DataFrame ํ, ์ด ์ ํ ๋ฐ ํํฐ๋ง ๋ณต์ต
- DataFrame ํ, ์ด ์ญ์ ๋ณต์ต
- DataFrame ํ, ์ด ์์ ๋ณต์ต
- DataFrame ๊ทธ๋ฃน ์์ฑ
- ์ค๋ณต ๋ฐ์ดํฐ ์ญ์
- NaN ์ฐพ์์ ๋ค๋ฅธ ๊ฐ ๋ณ๊ฒฝ
- applyํจ์ ํ์ฉ
- ์ปฌ๋ผ ๋ด ์ ๋ํฌํ ๊ฐ ๋ฝ์์ ๊ฐฏ์ ํ์ธ
- ๋ ๊ฐ์ DataFrame ํฉ์น๊ธฐ
3์ฃผ์ฐจ: Matplotlib๊ณผ Seaborn ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํ์ฉํ ๋ฐ์ดํฐ ์๊ฐํ
- Bar ์ฐจํธ ์ดํด ๋ฐ ์ ์
- Pie ์ฐจํธ ์ดํด ๋ฐ ์ ์
- Line ์ฐจํธ ์ดํด ๋ฐ ์ ์
- Scatter ์ฐจํธ ์ดํด ๋ฐ ์ ์
- Heat Map ์ฐจํธ ์ดํด ๋ฐ ์ ์
- Histogram ์ฐจํธ ์ดํด ๋ฐ ์ ์
- Box ์ฐจํธ ์ดํด ๋ฐ ์ ์
4์ฃผ์ฐจ: ์ ํ ํ๊ท ์ด๋ก ๋ฐ ์ค์ต
- ์ ํ ํ๊ท๋ ๋ฌด์์ธ๊ฐ
- ์ ํ ํ๊ท ๋ชจ๋ธ์ ํ๋ จ๊ณผ ๋น์ฉํจ์
- ์ ํ ํ๊ท ๋ชจ๋ธ์ ์ต์ ํ ๋ฐฉ๋ฒ
- ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ
- ํ๋ฅ ์ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ
- ๋ฏธ๋๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ
- ๋คํญํ๊ท
- ๊ท์ ๊ฐ ์๋ ์ ํ ๋ชจ๋ธ
- ๋ฆฟ์ง ํ๊ท
- ๋ผ์ ํ๊ท
- ์๋ผ์คํฑ๋ท
- ์กฐ๊ธฐ ์ข
๋ฃ(Early Stopping)
5์ฃผ์ฐจ: ์ ํ ๋ถ๋ฅ ์ด๋ก ๋ฐ ์ค์ต
- ๋ก์ง์คํฑ ํ๊ท๋ ๋ฌด์์ธ๊ฐ
- ๋ก์ง์คํฑ ํ๊ท ๋ชจ๋ธ์ ํ๋ จ๊ณผ ๋น์ฉํจ์
- ์ํฌํธ ๋ฒกํฐ ๋จธ์ ์ด๋ ๋ฌด์์ธ๊ฐ
- ์ํฌํธ ๋ฒกํฐ ๋จธ์ ์ ๋ถ๋ฅ
- ํ๋ ๋ง์ง ๋ถ๋ฅ
- ์ํํธ ๋ง์ง ๋ถ๋ฅ
6์ฃผ์ฐจ: ๊ฒฐ์ ๋๋ฌด ๋ชจํ ์ด๋ก ๋ฐ ์ค์ต
- ๊ฒฐ์ ๋๋ฌด ๋ชจํ์ด๋ ๋ฌด์์ธ๊ฐ
- ๊ฒฐ์ ํธ๋ฆฌ ํ์ต๊ณผ ์๊ฐํ
- ์์ธกํ๊ธฐ
- ํด๋์ค ํ๋ฅ ์ถ์
- CART ํ๋ จ ์๊ณ ๋ฆฌ์ฆ
- ๊ณ์ฐ ๋ณต์ก๋
- ์ง๋ ๋ถ์๋ ๋๋ ์ํธ๋กํผ
- ๊ท์ ๋งค๊ฐ๋ณ์
- ํ๊ท
7์ฃผ์ฐจ: ์์๋ธ ๋ชจํ ์ด๋ก ๋ฐ ์ค์ต
- ์์๋ธ ๋ชจํ์ด๋ ๋ฌด์์ธ๊ฐ
- ํฌํ ๊ธฐ๋ฐ ๋ถ๋ฅ๊ธฐ
- ๋ฐฐ๊น
๊ณผ ํ์ด์คํ
- ์ฌ์ดํท๋ฐ์ ๋ฐฐ๊น
๊ณผ ํ์ด์คํ
- oob ํ๊ฐ
- ๋๋ค ํจ์น์ ๋๋ค ์๋ธ์คํ์ด์ค
- ๋๋ค ํฌ๋ ์คํธ
- ์์คํธ๋ผ ํธ๋ฆฌ
- ํน์ฑ ์ค์๋
- ๋ถ์คํ
- ์๋ค๋ถ์คํธ
- ๊ทธ๋๋์ธํธ ๋ถ์คํ
- ์คํํน
8์ฃผ์ฐจ: Kaggle ๋ฐ์ดํฐ ์๊ฐ ๋ฐ ๋ถ์
9์ฃผ์ฐจ: Kaggle ๋ฐ์ดํฐ ๋ถ์
์๊ฐ ์ ์ฐธ๊ณ ํด์ฃผ์ธ์!
- ์ด ๊ฐ์์์๋ ์๋ํฐ๋ก ๊ตฌ๊ธ ์ฝ๋ฉ(Google Colab)์ ์ฌ์ฉํฉ๋๋ค.
- ๊ฐ๋
๊ณผ ํ์ฉ์ ๊ณ ๋ฃจ ์ตํ ์ ์๋๋ก ์ด๋ก ๋ฐ ์ค์ต์ 5:5 ๋น์ค์ผ๋ก ๊ตฌ์ฑํ์์ต๋๋ค. ์์ธํ ๊ตฌ์ฑ์ ์ปค๋ฆฌํ๋ผ์ ํ์ธํด์ฃผ์ธ์.
- ๋ธ๋ก๊ทธ๋ฅผ ํตํด ๊ฐ์ ์๋ฃ๋ฅผ ์ ๊ณตํฉ๋๋ค. ๋ค์ ๋งํฌ์์ ๋ณด์ค ์ ์์ต๋๋ค. (๋ฐ๋ก๊ฐ๊ธฐ)
๋ง๋์ ๋ฐ๊ฐ์์!
๊ฑฐ์น์ฝ๋ฉ์ ์๊ฐํฉ๋๋ค.
์ง๊ธ ์ง์๊ณต์ ์ ๊ฑฐ์น์ฝ๋ฉ์ VLOG๋ฅผ ํ์ธํด๋ณด์ธ์! ๐ฏ