๋ฐ์ดํฐ ๊ณผํ, ๋น ๋ฐ์ดํฐ, ํฌ๋กค๋ง์ ์ตํ๊ณ ์ ํ์๋ ๋ถ๋ค์ ์ํด, (1) ์งง์ ์๊ฐ์์ ๊ฐ์ฅ ํ์ํ ํ์ด์ฌ ํต์ฌ ๋ฌธ๋ฒ์ ์ ๋ฆฌํ๊ณ , (2) ์ค์ ํฌ๋กค๋ง ํ๋ก๊ทธ๋๋ฐ์ ํตํด ํ์ด์ฌ๊ณผ ํฌ๋กค๋ง์ ์ต์ํด์ง๋๋ค.
๊ฐ์ ์ ๋ฐ์ดํธ ๋ฐ ์ ๊ท ๊ฐ์ ์๊ฐ
์๋ ํ์ธ์. Dave Lee(์์ฌ๋ฏธ์ฝ๋ฉ) ์ ๋๋ค. (๋ค์ ์ ์กํด์ ์ ๋ง ์ฃ์กํฉ๋๋ค. ๋ฏธ์งํ ๋ถ๋ถ์ด ์์ด์...)
์ค๋๋ง์ ๋ ๊ฐ์ง ์์์ ๊ณต์ ๋๋ฆฝ๋๋ค.
์ฐ์ ๊ฐ์๋ฅผ ๋ ์ ๋ฐ์ดํธํ์ต๋๋ค. ์ฌํด ๋๋ฒ์งธ ์ ๋ฐ์ดํธ์ธ๋ฐ์. ์ผ๋ถ ์ฌ์ดํธ๋ค์ด ๋ณ๊ฒฝ๋์ด, ์ด๋ฅผ ์ํ ์ฝ๋์ ๊ฐ์ด๋๋ฅผ ๋๋ ธ์ง๋ง, ์ข๋ ๊ธ๋ฒ์ ์์๋ ์ ๋ฐ์ดํธํ์์ต๋๋ค. ๋น๋ฒํ ์ฌ์ดํธ ๋ณ๊ฒฝ์ผ๋ก, ์ ๊ฐ ์ง์ ๋ค์ํ ์ฌ์ดํธ๋ฅผ ๋ง๋ค์ด์, ํฌ๋กค๋ง์ ์ฐ์ตํ์ค ์ ์๋๋ก ํ์์ต๋๋ค. ๋ ๊ธฐ์กด๋ณด๋ค๋ ํ๋ก๊ทธ๋๋ฐ์ ์กฐ๊ฒ๋ ์์ฐ์ค๋ฝ๊ฒ ์ต์ํด์ง ์ ์๋๋ก, ํ๋ก๊ทธ๋๋ฐ ๊ด๋ จ ํ๋ค๋ ์ถ๊ฐํ์์ต๋๋ค. ๊ด๋ จ ๊ฐ์๋ (2020 ์ ๋ฐ์ดํธ)๋ก ํ์ํ์์ต๋๋ค.
๊ทธ๋์ ์ ๋ง ๋ง์ ๋ถ๋ค๊ป์ ์ ๋ง ์ข์ ์๊ฐํ์ ์ ์ด์ฃผ์ ์, ์ ๋ ๋๋ฌด ํฐ ํ์ด ๋์์ต๋๋ค. ์ด๋ฐ ์์ ๋ค์ด ์กฐ๊ธ์ด๋ผ๋ ๋ชจ๋ ๋ถ๋ค์๊ฒ ๊ธ์ ์ ์ธ ์๋์ง๊ฐ ๋๋ฉด ์ข๊ฒ ์ต๋๋ค.
๋ค์์ผ๋ก ์ ๊ท ๊ฐ์๋ฅผ ๋ง๋ค์์ต๋๋ค.
ํ์ด์ฌ์ผ๋ก ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ๋ถํฐ, pandas, ์ต์ ์๊ฐํ(plotly)๊น์ง ์ตํ ์ ์๋ ๊ฐ์์ ๋๋ค.
๋ง์ง๋ง์ผ๋ก ๊ฐ์ ์๊ฐ ๋ง์์ง๋ค๋ณด๋, ์ด๋ค ์์๋ก ์๊ฐํ์๋ฉด ์ข์์ง ๋ฌธ์ํ์๋ ๋ถ๋ค์ด ๊ณ์์, ๋ค์๊ณผ ๊ฐ์ด ํฌ๊ฒ ๋ฐ์ดํฐ ๋ถ์/๊ณผํ ํธ๋๊ณผ ํ์คํ ํธ๋์ ์์์ ํฅํ ๋ฐฉํฅ์ ๊ณต์ ๋๋ฆฝ๋๋ค.(๋ฐ์ดํฐ ๊ณผํ + ํ์คํ, ๋ฉ์์ง ์๋์?) ์ธํ๋ฐ์ ๊ฐ์ฅ ์ข์ ๊ฐ์๋ฅผ ์คํํ๊ธฐ ์ํด ์ค๋นํ๊ณ ์์ต๋๋ค.
๊ฐ์ธ์ ์ผ๋ก๋ ์ ๊ฐ ๊ฐ์๋ฅผ ์คํํ๋ฉด, ์ ๊ฐ์๊ฐ ๋์์ด ๋ฌ๋ค๊ณ ๋๋ผ์
จ๋ ๋ถ๋ค์
์ผ๋จ ๊ทธ ๊ธฐ์ ์ ํฐ ๊ฑฑ์ ๊ณผ ๊ณ ์์์ด ์ฌ๋ฌ๋ถ๋ค์ ๊ฒ์ด ๋๊ณ ,
๋ฐ๋ก ํ์ฉํ์ค ์ ์๋ค๋ ๋๋์ด ๋์ ๋ค๋ฉด ์ ๋ง ์ข์ง ์์๊น ์๊ฐ์ ํฉ๋๋ค. ๊ฐ์ฌํฉ๋๋ค.~~~
1. ํ์ด์ฌ ์
๋ฌธ๊ณผ ํฌ๋กค๋ง ๊ธฐ์ด ๋ถํธ์บ ํ (ํ์ด์ฌ๊ณผ ๋ฐ์ดํฐ ์์ง ๊ธฐ๋ณธ)
2. Scrapydhk Selenium ์ ๋ณต (๋ฐ์ดํฐ ์์ง(ํฌ๋กค๋ง) ์ค๊ธ)
3. SQL๊ณผ ๋ฐ์ดํฐ ์ ์ฅ/๋ถ์ ๊ธฐ๋ณธ (๋ฐ์ดํฐ ์ ์ฅ/๋ถ์)
4. NoSQL(mongodb) ๋น
๋ฐ์ดํฐ ๊ธฐ๋ณธ (๋น
๋ฐ์ดํฐ ์ ์ฅ/๋ถ์)
5. ํ์ด์ฌ ๋ฐ์ดํฐ ๋ถ์ ๊ธฐ๋ณธ (๋ฐ์ดํฐ ๋ถ์)
6. ๋จธ์ ๋ฌ๋/์ธ๊ณต์ง๋ฅ ๊ธฐ๋ณธ (๋ฐ์ดํฐ ์์ธก, ์ด์ฌํ ์ค๋นํ๊ณ ์์ต๋๋ค)
1. ํ์ด์ฌ๊ณผ ๋ฐ์ดํฐ ์์ง(ํฌ๋กค๋ง) ๊ธฐ๋ณธ (ํ์ด์ฌ๊ณผ ์น, ๋ฐ์ดํฐ ์ดํด ๊ธฐ๋ณธ)
2. SQL๊ณผ ๋ฐ์ดํฐ ์ ์ฅ/๋ถ์ ๊ธฐ๋ณธ (SQL ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ธฐ๋ณธ)
3. NoSQL(mongodb) ๋น
๋ฐ์ดํฐ ๊ธฐ๋ณธ (NoSQL ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ธฐ๋ณธ)
4. ๋ฐฑ์๋ ๊ธฐ๋ณธ๊ณผ ์ค๊ธ (์ด์ฌํ ์ค๋นํ๊ณ ์์ต๋๋ค)
5. ํ๋ก ํธ์๋ ๊ธฐ๋ณธ๊ณผ ์ค๊ธ (์ด์ฌํ ์ค๋นํ๊ณ ์์ต๋๋ค)
6. ํ์คํ ๊ธฐ๋ณธ๊ณผ ํด๋ก ์ฝ๋ฉ (์ด์ฌํ ์ค๋นํ๊ณ ์์ต๋๋ค)