[Python ์ค์ ]
์นํฌ๋กค๋ง๊ณผ ๋ฐ์ดํฐ๋ถ์ : ์ ์ธ๊ณ ์ถ๊ตฌ ์ ์ ๋ชธ๊ฐ ๋ถ์
์ฃผ์ ์๊ฐ ๐
ํ์ด์ฌ์ ๋ค์ด๋ดค์ง๋ง, ํฌ๋กค๋ง(์คํฌ๋ํ)๊ณผ ๋ฐ์ดํฐ๋ถ์์ ์ฒ์์ด์ ๋ถ์ ์ํ ๊ฐ์ข์
๋๋ค.
ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ Beautifulsoup๊ณผ Pandas๋ฅผ ํ์ฉํด ์น์คํฌ๋ํ๊ณผ ๋ฐ์ดํฐ๋ถ์ ์ค์ต์ ํด๋ด
๋๋ค. ์ค์ ์ ์ธ๊ณ ์ถ๊ตฌ์ ์๋ค์ ๋ชธ๊ฐ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ์ฌ์ดํธ์ธ transfermarkt.com๋ฅผ ํฌ๋กค๋งํ์ฌ ๋ถ์ํ๋ ํ๋ก์ ํธ์
๋๋ค.
์ ๋ฐฐ์์ผ ํ๋์ง โ๏ธ
"ํ์ด์ฌ ๊ธฐ๋ณธ ๋ฌธ๋ฒ์ ๋ฐฐ์ ๋๋ฐ ๊ทธ ๋ค์์ ๋ญํ์ง?
๋ฐ์ดํฐ๋ถ์๊ณผ ๋จธ์ ๋ฌ๋/๋ฅ๋ฌ๋์ผ๋ก ๋์ด๊ฐ๊ธด ํด์ผ ํ๋๋ฐ.... "
์ด๋ป๊ฒ ์์ํด์ผ ํ ์ง ๋ง๋งํ ๋ถ๋ค์ ์ํ ๊ฐ๋ฒผ์ด ํ๋ก์ ํธ ์์
์
๋๋ค.
์ค์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ฉด์, ์น์คํฌ๋ํ๊ณผ ๋ฐ์ดํฐ๋ถ์์ ๋ํ ๊ธฐ๋ณธ์ง์๊ณผ ์์ ๊ฐ์ ์ป์ ์ ์์ต๋๋ค.

์ด ๊ฐ์์์ ๋ฐฐ์ฐ๋ ๊ฒ๋ค โ๏ธ
Beautifulsoup ๊ณต์ํํ์ด์ง์ ์๋ ๊ธฐ๋ณธ์ ์ธ ์์ ๋ค์ ์ถฉ๋ถํ ์ค์ตํฉ๋๋ค.
Pandas๋ Cheat Sheet์ ์๋ ๋ด์ฉ๋ค์ ๊ธฐ๋ฐ์ผ๋ก ํ๋์ฉ ์ดํดํ ์ ์๊ฒ ์ง๊ณ ๋์ด๊ฐ๋๋ค.
์ค์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ค๊ณ ๋ถ์ํ๋ ํ๋ก์ ํธ ์์
์ด์ง๋ง, ๊ฐ์ฅ ๊ธฐ์ด์ ์ธ ๋ด์ฉ์ ์ค๋ช
ํ๋ ์ด๋ณด์์ฉ ๊ฐ์์
๋๋ค.
1๋ถ. BeautifulSoup ํ์ฉ ํฌ๋กค๋ง
- ์นํฌ๋กค๋ง์ด๋?
- ์นํฌ๋กค๋ง์ ์ํ ์ฌ์ ์ง์ (robots.txt, http, user-agent...)
- html๋ก ๊ฐ๋จํ ํํ์ด์ง ๋ง๋ค๊ธฐ ์ค์ต
- BeautifulSoup ์์ ์ค์ต
- ์ค์ ํฌ๋กค๋ง (transfermarkt.com)
2๋ถ. Pandas ํ์ฉ ๋ฐ์ดํฐ๋ถ์
- ๋ฐ์ดํฐํ๋ ์์ผ๋ก ์ ์ฅํ๊ณ ๋ถ๋ฌ์ค๊ธฐ
- Pandas๋ก ๋ฐ์ดํฐ ์ดํด๋ณด๊ธฐ
- ์ ๋ ฌํ๊ณ ์์ฑํ๊ณ ์ญ์ ํ๊ณ ์์ ํ๊ธฐ
- ํต๊ณ์ ๋ณด ์์๋ณด๊ณ ๊ทธ๋ฃน ๋ถ์ํ๊ธฐ
๊ฐ์ ํน์ง ๐ก
๋ชจ๋ ๊ฐ์ ์๋ฃ๋ฅผ ๊ณต์ ํฉ๋๋ค. (2๊ฐ์์ ์๋ฃ ๋ค์ด๋ฐ๋ ๋ฒ ์๋ด)