๋ฐ์ดํฐ ๋ถ์์ ์ํ ํ๋ค์ค(Pandas),
๊ณต์ ๋ฌธ์๋ก ํํํ๊ฒ ์ตํ๋ณด์ธ์!
ํ๋ค์ค, ์ ๋ฐฐ์์ผ ํ ๊น์?
ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ, ํ๋ค์ค๋ฅผ ์ด์ฉํด
๋ฐ์ดํฐ ๋ถ์์ ์ฝ๊ณ ํธ๋ฆฌํ๊ฒ ํด๋ณผ ์ ์์ด์.
๋ฐ์ดํฐ ๋ถ์๊ฐ๊ฐ ํ์ด์ฌ์ผ๋ก ๋ถ์์ ํ๋ค๋ฉด, ๋ณดํต ํ๋ค์ค(Pandas) ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ๋ถ๋ฌ์ค๋ ์ผ์ ๊ฐ์ฅ ๋จผ์ ํ ๊ฑฐ์์. ์๊ฐํ, ๋จธ์ ๋ฌ๋, ํต๊ณ๋ชจ๋ธ ์ ์ฉ ๋ฑ ์ด๋ค ๋ถ์ ์์
์ ํ๋ ๋ฐ์ดํฐ๋ฅผ ์ ํฉํ ํํ๋ก ๊ฐ๊ณตํ๋ โ์ ์ฒ๋ฆฌโ ๊ณผ์ ์ด ์ ํ๋์ด์ผ ํ๋๋ฐ์. ์ด๋ ๊ฒ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๋ฐ์ ๊ฐ์ฅ ํนํ๋์ด ์๊ณ , ๊ทธ๋์ ๊ฐ์ฅ ๋๋ฆฌ ์ฌ์ฉ๋๊ณ ์๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ(ํจํค์ง)๊ฐ ๋ฐ๋ก ํ๋ค์ค์
๋๋ค.
ํ์ด์ฌ ๋ฐ์ดํฐ ๋ถ์์ ํ์ ๊ณผ๋ชฉ ํ๋ค์ค, ๋ฐ์ดํฐ๋ฆฌ์๊ณผ ํจ๊ป ์
๋ฌธํด ๋ด์!
โ๏ธ ์๊ฐ ๋ก๋๋งต
์ด ๊ฐ์, ์ด๋ค ์ ์ด ํน๋ณํ๊ฐ์?
ํ๋ค์ค์ ๊ณต์ ๋ฌธ์๋ฅผ ํ์ฉํฉ๋๋ค.
์ฝ๋ฉ์ ํ ๋ โ๊ตฌ๊ธ๋ง์ด ํ์โ๋ผ๋ ๋ง์ ๋ชจ๋๋ค ๋์ํ์ค ๊ฑฐ์์. ์น์๋ ์ ๋ณด๋ฅผ ์ป์ ์ ์๋ ๋ฌธ์๊ฐ ์ ๋ง ๋ง์ง๋ง, ๊ทธ์ค์์๋ ๊ฐ์ฅ ์ข์ ๊ฒ์ ๊ณต์ ๋ฌธ์์
๋๋ค. ์ ํํ ์ฉ์ด์ ํ์ฉ๋ฒ์ ์ ์ํ๊ณ ์๊ธฐ ๋๋ฌธ์ด์ฃ . ์ด๋ฏธ ํ๋ค์ค๋ฅผ ๋ฅ์ํ๊ฒ ์ฌ์ฉํ๊ณ ์๋ ์ฌ๋๋ค๋ ๊ณต์ ๋ฌธ์๋ฅผ ๋ณด๊ณ โ์ด๋ฐ ์ข์ ๊ธฐ๋ฅ์ด ์์์ด?โ ํ๋ฉฐ ๋๋ผ๊ธฐ๋ ํฉ๋๋ค.
์ด์ ํ๋ค์ค๋ฅผ ์์ํ๋ ์ฌ๋ฌ๋ถ์, ์ฒ์๋ถํฐ ์ต๊ณ ์ ๊ต๊ณผ์์ธ ๊ณต์ ๋ฌธ์๋ก ์ฐจ๊ทผ์ฐจ๊ทผ ๋ฐฐ์๋๊ฐ ๋ณด๋ ๊ฑด ์ด๋จ๊น์? ์ ํฌ ๊ฐ์๋ ์ด ์ฌ์ ์ ๋๋ ์ตํ์ฑ
๊ฐ์ ์ญํ ์ ํ ๊ฑฐ์์. ๊ณต์ ๋ฌธ์๋ฅผ ํจ๊ป ์ฝ๊ณ , ์์ ์ฝ๋๋ ํจ๊ป ๋ฐ๋ผ ์ณ ๋ณด๊ณ , ์ถ๊ฐ์ ์ธ ์ค๋ช
์ ๋ง๋ถ์ด๋ ๋ฐฉ์์ผ๋ก ํ์ต์ด ์งํ๋ฉ๋๋ค.
SQL, ์์
๊ณผ ๋น๊ตํ๋ ๋ด์ฉ์ ํตํด ๋น ๋ฅธ ์ดํด๋ฅผ ๋์ต๋๋ค.
ํ๋ค์ค๊ฐ ๋ค๋ฃจ๋ ๋ฐ์ดํฐ๋ โ2์ฐจ์ ๋ฐ์ดํฐํ๋ ์โ์
๋๋ค. 2์ฐจ์ ๋ฐ์ดํฐํ๋ ์์ด๋ผ๊ณ ํ๋๊น ๋ฏ์ค๊ฒ ์ง๋ง, ์ฌ์ค์ ์ฌ๋ฌ๋ถ์ด ์ด๋ฏธ ์ ์์๋ ๊ฐ๋
์ด์์. ์์
๊ณผ ๊ฐ์ ์คํ๋ ๋์ํธ์์ ๋ง์ด ๋ณธ ํ ๋ชจ์์ ๋ฐ์ดํฐ๋ฅผ ์๊ฐํ์๋ฉด ๋ฉ๋๋ค. ๋ง์ฝ SQL์ ํ
์ด๋ธ์ ์๊ณ ๊ณ์ ๋ถ์ด๋ผ๋ฉด ๋ ์ ์๋ฟ์ ๊ฑฐ๊ณ ์.
๊ฐ์ ํํ์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๋๊ตฌ์ด๋ค๋ณด๋ ํ๋ค์ค์์๋ SQL, ์์
๊ณผ ๋น์ทํ ๊ธฐ๋ฅ, ๋๋ ๋น์ทํ์ง๋ง ๋ ๊ฐ๋ ฅํ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์์. ๊ทธ๋์ ์๋ก์ด ํจ์๋ฅผ ๋ฐฐ์ธ ๋ SQL ๋๋ ์์
๊ณผ ๋น๊ตํ๋ ๋ด์ฉ์ ๋ด์์ต๋๋ค. ์ด๋ฏธ ์๋ ๊ฒ๊ณผ ๋น๊ตํ๋ฉด์ ํ์ตํ๋ฉด ๋ ์ฝ๊ณ ๋น ๋ฅด๊ฒ ์ดํดํ์ค ์ ์๊ฒ ์ฃ ?
SQL๋ก ํ ์ ์๋ ๊ฒ ๋ณด๋ค ์ข ๋ ์ฌํ๋ ๋ถ์ & ์๊ฐํ๋ฅผ ํด๋ณด๊ณ ์ถ์ด์ ํ์ด์ฌ์ ์์ํ์๋ ๋ถ, ์์
์์ ๋ค ๋ถ๋ฌ์ฌ ์ ์๋ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๊ธฐ ์ํด ํ๋ค์ค๊ฐ ํ์ํ์ ๋ถ ๋ฑ ๋ค๋ฅธ ๋๊ตฌ๋ฅผ ์ด๋ฏธ ํ์ฉํ๊ณ ๊ณ์ ๋ถ๋ค์๊ฒ ๋์์ด ๋๋ ๊ฐ์์
๋๋ค.
Q. SQL, ๋ฐ๋์ ์๊ณ ๋ค์ด์ผ ํ๋์?
SQL ํ์ต์ ๋จผ์ ์์ํด๋ณด์๊ธฐ๋ฅผ ์ถ์ฒ๋๋ฆฌ์ง๋ง, ์์
์ ๋ค๋ค๋ณด์
จ๋ค๋ฉด ๊ฐ์๋ฅผ ์ดํดํ๋๋ฐ ํฌ๊ฒ ์ด๋ ค์ด ๋ด์ฉ์ ์์ ๊ฑฐ๋ผ๊ณ ์๊ฐ๋ฉ๋๋ค :)
ํ๊ณผ ์ด์ ๊ฐ์ง ํ
์ด๋ธ ํํ์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃฌ๋ค๋ ์ ์์ ์์
, ํ๋ค์ค, SQL์ ๋ชจ๋ ๋น์ทํ ํด์
๋๋ค. ์ง์ํ๋ ๊ธฐ๋ฅ๋ค๋ ๋งค์ฐ ๋น์ทํฉ๋๋ค. ๊ฐ์์์ ๊ฐ์ด ๋ณด๋ ๊ณต์ ๋ฌธ์ ๋ํ ํ์ด์ฌ ์ด์ธ์ ๋ค๋ฅธ ์ธ์ด์ ๋ํ ์ฌ์ ์ง์์ ์๊ตฌํ์ง ์์ต๋๋ค. ๊ณตํต ํค๋ฅผ ์ด์ฉํ ๋ ํ
์ด๋ธ ๊ฐ์ ์ฐ๊ฒฐ, ๊ทธ๋ฃน๋ณ ์ฐ์ฐ ๋ฑ ๋ฐ์ดํฐ ํ
์ด๋ธ์ ๋ค๋ฃจ๋ฉด์ SQL๊ณผ ๊ณตํต์ ์ผ๋ก ๋์ค๋ ๊ฐ๋
๋ค์ ๋ํ ์ค๋ช
์ ์์์์ ์ผ๋ถ ์๋ต๋์ด ์์ง๋ง ์์ ํ๋จ์ ๋ณด์ถฉ ์๋ฃ๋ฅผ ๋๋ฆฝ๋๋ค. ์ํ ๊ฐ์๋ฅผ ์์ฒญํด๋ณด์๊ณ โํ ๋งํ๋ฐ?โ ๋ผ๊ณ ์๊ฐํ์
จ๋ค๋ฉด ์ถฉ๋ถํฉ๋๋ค.
ํจ๊ป ๋ฌธ์ ๋ฅผ ํ์ด๋ณด๋ฉฐ ์๋ จ๋๋ฅผ ๋์
๋๋ค.
๋ฐฑ๋ฌธ์ด ๋ถ์ฌ์ผํ! ๋ฐฐ์ด ๊ฒ์ ๋ง์ด ์จ ๋ด์ผ ๋ก๋๋ค. ํ์ตํ ๋ฌธ๋ฒ์ด ์ด๋ค ์ํฉ์์, ์ด๋ค ์์
์ ์ํด ์ฐ๋ ๊ฑด์ง๋ฅผ ํ์คํ ์ต๋ํ๊ณ ์์ ์ตํ๋ ์๊ฐ์ ๊ฐ์ง๋๋ค.
ํ๋์ ์น์
์ด ๋ง๋ฌด๋ฆฌ๋๋ฉด ๊ทธ ์น์
์์ ๋ฐฐ์ด ํจ์๋ฅผ ์ฐ์ตํ ์ ์๋ ๋ฌธ์ ์ ๋ชฉ๋ก์ ๋๋ฆฝ๋๋ค. ๊ฐ์๋ ์ ๊น ๋ฉ์ถฐ๋๊ณ , ํด๋น ๋ฌธ์ ๋ฅผ ํ๋ฉฐ ๋ณต์ตํ์๊ธฐ๋ฅผ ๊ถํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ์น์
์ ๋ง์ง๋ง ๊ฐ์์ธ โ๋ฌธ์ ํ์ดโ ์์์์ ํ์ด ๊ณผ์ ์ ํจ๊ป ๋๋๋ ์๊ฐ์ ๊ฐ์ ธ์. ๋ง์ง๋ง ์น์
์ ์ด์ ๊น์ง ๋ฐฐ์ด ๋ชจ๋ ๊ฒ์ ์ข
ํฉํด์ ํธ๋ ๋ฌธ์ ๋ค๋ก ๊ตฌ์ฑ๋์ด ์์ผ๋, ๋๊น์ง ๋ฌ๋ ค ๋ด
์๋ค!
์ถ์ฒ ์๊ฐ์
ํ๋ค์ค๋ฅผ
์ฒด๊ณ์ ์ผ๋ก
์ดํดํ๊ณ ์ถ์ ๋ถ
๋ฌธ์ ํ์ด์ ํจ๊ป
ํ๋ค์ค๋ฅผ
๊ณต๋ถํ๊ณ ์ถ์ ๋ถ
SQL์ ์ฌ์ฉํ๋ฉด์
ํ์ด์ฌ์ผ๋ก ๋ถ์ ์์ญ์
๋ํ๊ณ ์ถ์ ๋ถ
์์
๋ฑ ์คํ๋ ๋์ํธ๋ฅผ
์ฌ์ฉํด ๋ดค๊ณ
ํ๋ค์ค๋ฅผ ๋ฐฐ์ฐ๊ณ ์ถ์ ๋ถ
์ปค๋ฆฌํ๋ผ์
ํ์ธํด ๋ณด์ธ์.
ํ๋ค์ค ์๋ฐ ์
!
๊ฐ์์์ ์ฌ์ฉํ ํ๋ซํผ์ธ ๊ตฌ๊ธ ์ฝ๋ฉ(Google Colaboratory, Colab)์ ๋ํด ์์๋ณด๊ณ ํ๋ค์ค ๊ณต์ ๋ฌธ์๋ฅผ ์์ฐจ์ ์ผ๋ก ํ์ตํด ๋ด
๋๋ค. ํ๋ค์ค๋ก ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฌ์ค๊ณ ์ ์ฅํ๊ธฐ ์ํด์๋ ์ด๋ค ๊ณผ์ ์ ๊ฑฐ์ณ์ผ ํ๋์ง ์์๋ณด๊ณ , ํน์ ์ปฌ๋ผ(Column, ์ด)๊ณผ ๋ก์ฐ(Row, ํ)๋ฅผ ์ ํํ๋ ๋ฐฉ๋ฒ์ ๋ํด ํ์ตํฉ๋๋ค.
๋ฐ์ดํฐ ๋ฝ๊ฐ๊ธฐ A to Z.
ํ๋ค์ค๋ฅผ ํตํด ๋ฐ์ดํฐ์ ์ถ์ธ์ ํ๋ฆ์ ํ์
ํ ์ ์๋๋ก ๊ฐ๋จํ ์๊ฐํ๋ฅผ ์งํํด ๋ด
๋๋ค. ์ฌ๊ธฐ์ ๊ธฐ์กด ์ปฌ๋ผ๋ค์ด ๊ฐ์ง๊ณ ์๋ ๊ฐ๋ผ๋ฆฌ ์ฐ์ฐํ์ฌ ์๋ก์ด ์ปฌ๋ผ์ ๋ง๋ค๊ณ , ํ์ํ ์ฐ์ฐ์ ์ฒ๋ฆฌํ๊ณ , ๋ฐ์ดํฐ๋ฅผ ์ง๊ณํ๊ณ ๊ท๋ชจ๋ฅผ ํ์
ํ๋ ๋ฐฉ๋ฒ๊น์ง ๋ฐฐ์ธ ์ ์๊ฒ ๋ฉ๋๋ค.
ํ
์ด๋ธ๋ก ๊ตฌ์ฑํ๋ ๋ฐ์ดํฐ!
ํ
์ด๋ธ์ ๋ณํ/์ ๋ ฌํ๊ณ , ๊ตฌ๊ธ ์คํ๋ ๋์ํธ์ ์ฐ๊ณํ์ฌ ๋ฐ์ดํฐ๋ฅผ ํผ๋ด ํ
์ด๋ธ(Pivot Table) ํํ๋ก ๋ง๋๋ ๋ฒ์ ๋ํด ์์๋ด
๋๋ค. ์์ธ๋ฌ ์ฌ๋ฌ ํ
์ด๋ธ์ ๋ก์ฐ๋ฅผ ์ฐ๊ฒฐํ๊ณ , ๊ณตํต ์ปฌ๋ผ์ ์ฌ์ฉํด ์ฌ๋ฌ ๊ฐ์ ํ
์ด๋ธ์ ๊ฒฐํฉํด ๋ด
๋๋ค.
๋ค์ํ ํํ์ ๋ฐ์ดํฐ๋ OK.
์๊ณ์ด ๋ฐ์ดํฐ(Time Series Data), ๋ฌธ์์ด ๋ฐ์ดํฐ(Textual Data)๋ฅผ ๋ค๋ฃจ๋ ๋ฐฉ๋ฒ์ ๋ํด ์์๋ด
๋๋ค. ์ฌ๊ธฐ์ ์ ๊ทํํ์์ ํ์ฉํ์ฌ ํน์ ํจํด์ ์ฐพ์๋ด๋ ๋ฐฉ๋ฒ๊น์ง ๋ค๋ฃจ๊ฒ ๋ ๊ฑฐ์์.
๋ฐ์ดํฐ๋ฆฌ์ ํ์
๋ค๋ฅธ ๊ฐ์๊ฐ ๊ถ๊ธํ๋ค๋ฉด?
๋ฐฑ๋ฌธ์ด๋ถ์ฌ์ผํ!
๋ฐ์ดํฐ๋ฆฌ์ SQL ์๋ฆฌ์ฆ
๋ฐ์ดํฐ ๋ถ์์ ์ํ ๊ธฐ์ด SQL (ํด๋ฆญ)
๋ฐ์ดํฐ ๋ถ์์ ์ํ ์ค๊ธ SQL (ํด๋ฆญ)
๋ฐ์ดํฐ ๋ถ์์ ์ํ ํ์ด์ฌ ์๋ฆฌ์ฆ
๋ฐ์ดํฐ ๋ถ์์ ์ํ ํ์ด์ฌ: ์
๋ฌธ๋ถํฐ ๊ฟํ๊น์ง (ํด๋ฆญ)