์ธํ”„๋Ÿฐ ์˜๋ฌธ ๋ธŒ๋žœ๋“œ ๋กœ๊ณ 
์ธํ”„๋Ÿฐ ์˜๋ฌธ ๋ธŒ๋žœ๋“œ ๋กœ๊ณ 
BEST

[๋ฆฌ๋‰ด์–ผ] ํŒŒ์ด์ฌ์ž…๋ฌธ๊ณผ ํฌ๋กค๋ง๊ธฐ์ดˆ ๋ถ€ํŠธ์บ ํ”„ [ํŒŒ์ด์ฌ, ์›น, ๋ฐ์ดํ„ฐ ์ดํ•ด ๊ธฐ๋ณธ๊นŒ์ง€] (์—…๋ฐ์ดํŠธ)

๋ฐ์ดํ„ฐ ๊ณผํ•™, ๋น…๋ฐ์ดํ„ฐ, ํฌ๋กค๋ง์„ ์ตํžˆ๊ณ ์ž ํ•˜์‹œ๋Š” ๋ถ„๋“ค์„ ์œ„ํ•ด, (1) ์งง์€ ์‹œ๊ฐ„์•ˆ์— ๊ฐ€์žฅ ํ•„์š”ํ•œ ํŒŒ์ด์ฌ ํ•ต์‹ฌ ๋ฌธ๋ฒ•์„ ์ •๋ฆฌํ•˜๊ณ , (2) ์‹ค์ „ ํฌ๋กค๋ง ํ”„๋กœ๊ทธ๋ž˜๋ฐ์„ ํ†ตํ•ด ํŒŒ์ด์ฌ๊ณผ ํฌ๋กค๋ง์— ์ต์ˆ™ํ•ด์ง‘๋‹ˆ๋‹ค.

Thumbnail

๊ฐ•์˜ ์—…๋ฐ์ดํŠธ ๋ฐ ์‹ ๊ทœ ๊ฐ•์˜ ์†Œ๊ฐœ

์•ˆ๋…•ํ•˜์„ธ์š”. Dave Lee(์ž”์žฌ๋ฏธ์ฝ”๋”ฉ) ์ž…๋‹ˆ๋‹ค. (๋‹ค์‹œ ์ „์†กํ•ด์„œ ์ •๋ง ์ฃ„์†กํ•ฉ๋‹ˆ๋‹ค. ๋ฏธ์ง„ํ•œ ๋ถ€๋ถ„์ด ์žˆ์–ด์„œ...)

์˜ค๋žœ๋งŒ์— ๋‘ ๊ฐ€์ง€ ์†Œ์‹์„ ๊ณต์œ ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

์šฐ์„  ๊ฐ•์˜๋ฅผ ๋˜ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค. ์˜ฌํ•ด ๋‘๋ฒˆ์งธ ์—…๋ฐ์ดํŠธ์ธ๋ฐ์š”. ์ผ๋ถ€ ์‚ฌ์ดํŠธ๋“ค์ด ๋ณ€๊ฒฝ๋˜์–ด, ์ด๋ฅผ ์œ„ํ•œ ์ฝ”๋“œ์™€ ๊ฐ€์ด๋“œ๋ฅผ ๋“œ๋ ธ์ง€๋งŒ, ์ข€๋” ๊ธˆ๋ฒˆ์— ์˜์ƒ๋„ ์—…๋ฐ์ดํŠธํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๋นˆ๋ฒˆํ•œ ์‚ฌ์ดํŠธ ๋ณ€๊ฒฝ์œผ๋กœ, ์ œ๊ฐ€ ์ง์ ‘ ๋‹ค์–‘ํ•œ ์‚ฌ์ดํŠธ๋ฅผ ๋งŒ๋“ค์–ด์„œ, ํฌ๋กค๋ง์„ ์—ฐ์Šตํ•˜์‹ค ์ˆ˜ ์žˆ๋„๋ก ํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๋˜ ๊ธฐ์กด๋ณด๋‹ค๋Š” ํ”„๋กœ๊ทธ๋ž˜๋ฐ์— ์กฐ๊ฒ€๋” ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ์ต์ˆ™ํ•ด์งˆ ์ˆ˜ ์žˆ๋„๋ก, ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๊ด€๋ จ ํŒ๋“ค๋„ ์ถ”๊ฐ€ํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๊ด€๋ จ ๊ฐ•์˜๋Š” (2020 ์—…๋ฐ์ดํŠธ)๋กœ ํ‘œ์‹œํ•˜์˜€์Šต๋‹ˆ๋‹ค. 

๊ทธ๋™์•ˆ ์ •๋ง ๋งŽ์€ ๋ถ„๋“ค๊ป˜์„œ ์ •๋ง ์ข‹์€ ์ˆ˜๊ฐ•ํ‰์„ ์ ์–ด์ฃผ์…”์„œ, ์ €๋„ ๋„ˆ๋ฌด ํฐ ํž˜์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฐ ์ž‘์—…๋“ค์ด ์กฐ๊ธˆ์ด๋ผ๋„ ๋ชจ๋“ ๋ถ„๋“ค์—๊ฒŒ ๊ธ์ •์ ์ธ ์—๋„ˆ์ง€๊ฐ€ ๋˜๋ฉด ์ข‹๊ฒ ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ์œผ๋กœ ์‹ ๊ทœ ๊ฐ•์˜๋ฅผ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. 

์ฒ˜์Œํ•˜๋Š” ํŒŒ์ด์ฌ ๋ฐ์ดํ„ฐ ๋ถ„์„ [์ „์ฒ˜๋ฆฌ, pandas, ์‹œ๊ฐํ™”๊นŒ์ง€ ์ „๊ณผ์ • ๊ธฐ๋ณธ ๊ธฐ์ˆ  ์‰ฝ๊ฒŒ ์ตํžˆ๊ธฐ]

ํŒŒ์ด์ฌ์œผ๋กœ ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ๋ถ€ํ„ฐ, pandas, ์ตœ์‹  ์‹œ๊ฐํ™”(plotly)๊นŒ์ง€ ์ตํž ์ˆ˜ ์žˆ๋Š” ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.

  • ์‹ค์ „ ์˜ˆ์ œ๋ฅผ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋๊นŒ์ง€ ํ•จ๊ป˜ ๋ถ„์„ํ•ด๋ณด๋ฉฐ ๊ด€๋ จ ๊ธฐ์ˆ ์„ ์„ค๋ช…๋“œ๋ ค์„œ, ์ˆ˜์—…์„ ๋“ค์œผ์‹  ํ›„์—๋Š” ์–ด๋–ค ๋ฐ์ดํ„ฐ๋“  ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ๋ฐ”๋กœ ํ•˜์‹ค ์ˆ˜ ์žˆ๋„๋ก ๊พธ๋ช„๊ณ ์š”.
  • pandas ๊ฐ€ ์€๊ทผ ๋ฌธ๋ฒ•์ด ๊นŒ๋‹ค๋กญ๊ณ , ํ”„๋กœ๊ทธ๋ž˜๋ฐ์ด ๋œ๋‹คํ•ด๋„ ์ด ์ชฝ์„ ๋ง‰๋ฐ”๋กœ ์‚ฌ์šฉํ•˜๊ธฐ๊ฐ€ ์‰ฝ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ทธ๋ ‡๋‹ค๊ณ  ์—‘์…€๋กœ ํ•  ์ˆ˜๋Š” ์—†๋Š” ์ผ์ด๋‹ˆ... ์ด๋Ÿฐ ๋ถ€๋ถ„์„ ์ž…๋ฌธ์ž๋„ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋„๋ก, ๊ทธ๋ฆฌ๊ณ  ์‹ค์ „ ์˜ˆ์ œ๋กœ ๋ฐ”๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก๊พธ๋ช„์Šต๋‹ˆ๋‹ค.
  • ์‹œ๊ฐํ™”์ชฝ๋„ ๊ธฐ์กด ๊ธฐ์ˆ ์€ ๋„ˆ๋ฌด ์˜ˆ์ „ ๊ธฐ์ˆ ๋“ค์ด๋ผ, ์ž˜ ์•ˆ๋˜๋Š” ๊ฒฝ์šฐ๋„ ๋งŽ๊ณ , ํ‘œํ˜„ํ•˜๊ธฐ๋„ ์‰ฝ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์กฐ์ž‘๋„ ๊ฐ„ํŽธํ•˜๊ณ , ๋ถ„์„์—๋„ ์œ ์šฉํ•˜๊ณ , ๊ทธ๋ฆฌ๊ณ  ์ด์œ(๋ง˜์— ๋“ค์–ด์š”) ์ตœ์‹  ์‹œ๊ฐํ™” ๊ธฐ์ˆ ์„ ์‰ฝ๊ฒŒ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก ์„ค๋ช…๋“œ๋ฆฝ๋‹ˆ๋‹ค.
  • ์—ฌ๊ธฐ์— ํ˜„์—…์—์„œ ์‹ค์ œ ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ํ• ๋•Œ ํ•„์š”ํ•œ ํŒ๋“ค์„ ๋„ฃ์—ˆ์Šต๋‹ˆ๋‹ค.

๋งˆ์ง€๋ง‰์œผ๋กœ ๊ฐ•์˜ ์ˆ˜๊ฐ€ ๋งŽ์•„์ง€๋‹ค๋ณด๋‹ˆ, ์–ด๋–ค ์ˆœ์„œ๋กœ ์ˆ˜๊ฐ•ํ•˜์‹œ๋ฉด ์ข‹์„์ง€ ๋ฌธ์˜ํ•˜์‹œ๋Š” ๋ถ„๋“ค์ด ๊ณ„์„œ์„œ,  ๋‹ค์Œ๊ณผ ๊ฐ™์ด ํฌ๊ฒŒ ๋ฐ์ดํ„ฐ ๋ถ„์„/๊ณผํ•™ ํŠธ๋ž™๊ณผ ํ’€์Šคํƒ ํŠธ๋ž™์˜ ์ˆœ์„œ์™€ ํ–ฅํ›„ ๋ฐฉํ–ฅ์„ ๊ณต์œ ๋“œ๋ฆฝ๋‹ˆ๋‹ค.(๋ฐ์ดํ„ฐ ๊ณผํ•™ + ํ’€์Šคํƒ, ๋ฉ‹์žˆ์ง€ ์•Š๋‚˜์š”?)  ์ธํ”„๋Ÿฐ์— ๊ฐ€์žฅ ์ข‹์€ ๊ฐ•์˜๋ฅผ ์˜คํ”ˆํ•˜๊ธฐ ์œ„ํ•ด ์ค€๋น„ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฐœ์ธ์ ์œผ๋กœ๋Š” ์ œ๊ฐ€ ๊ฐ•์˜๋ฅผ ์˜คํ”ˆํ•˜๋ฉด, ์ œ ๊ฐ•์˜๊ฐ€ ๋„์›€์ด ๋ฌ๋‹ค๊ณ  ๋А๋ผ์…จ๋˜ ๋ถ„๋“ค์€
์ผ๋‹จ ๊ทธ ๊ธฐ์ˆ ์€ ํฐ ๊ฑฑ์ •๊ณผ ๊ณ ์ƒ์—†์ด ์—ฌ๋Ÿฌ๋ถ„๋“ค์˜ ๊ฒƒ์ด ๋˜๊ณ ,
๋ฐ”๋กœ ํ™œ์šฉํ•˜์‹ค ์ˆ˜ ์žˆ๋‹ค๋Š” ๋А๋‚Œ์ด ๋“œ์‹ ๋‹ค๋ฉด ์ •๋ง ์ข‹์ง€ ์•Š์„๊นŒ ์ƒ๊ฐ์„ ํ•ฉ๋‹ˆ๋‹ค.
๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.~~~

๋ฐ์ดํ„ฐ ๋ถ„์„/๊ณผํ•™ ์ฝ”์Šค

1. ํŒŒ์ด์ฌ ์ž…๋ฌธ๊ณผ ํฌ๋กค๋ง ๊ธฐ์ดˆ ๋ถ€ํŠธ์บ ํ”„ (ํŒŒ์ด์ฌ๊ณผ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ๊ธฐ๋ณธ)
2. Scrapydhk Selenium ์ •๋ณต (๋ฐ์ดํ„ฐ ์ˆ˜์ง‘(ํฌ๋กค๋ง) ์ค‘๊ธ‰)
3. SQL๊ณผ ๋ฐ์ดํ„ฐ ์ €์žฅ/๋ถ„์„ ๊ธฐ๋ณธ (๋ฐ์ดํ„ฐ ์ €์žฅ/๋ถ„์„)
4. NoSQL(mongodb) ๋น…๋ฐ์ดํ„ฐ ๊ธฐ๋ณธ (๋น…๋ฐ์ดํ„ฐ ์ €์žฅ/๋ถ„์„)
5. ํŒŒ์ด์ฌ ๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ธฐ๋ณธ (๋ฐ์ดํ„ฐ ๋ถ„์„)
6. ๋จธ์‹ ๋Ÿฌ๋‹/์ธ๊ณต์ง€๋Šฅ ๊ธฐ๋ณธ (๋ฐ์ดํ„ฐ ์˜ˆ์ธก, ์—ด์‹ฌํžˆ ์ค€๋น„ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค)

ํ’€์Šคํƒ ์ฝ”์Šค

1. ํŒŒ์ด์ฌ๊ณผ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘(ํฌ๋กค๋ง) ๊ธฐ๋ณธ (ํŒŒ์ด์ฌ๊ณผ ์›น, ๋ฐ์ดํ„ฐ ์ดํ•ด ๊ธฐ๋ณธ)
2. SQL๊ณผ ๋ฐ์ดํ„ฐ ์ €์žฅ/๋ถ„์„ ๊ธฐ๋ณธ (SQL ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ๊ธฐ๋ณธ)
3. NoSQL(mongodb) ๋น…๋ฐ์ดํ„ฐ ๊ธฐ๋ณธ (NoSQL ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ๊ธฐ๋ณธ)
4. ๋ฐฑ์—”๋“œ ๊ธฐ๋ณธ๊ณผ ์ค‘๊ธ‰ (์—ด์‹ฌํžˆ ์ค€๋น„ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค)
5. ํ”„๋ก ํŠธ์—”๋“œ ๊ธฐ๋ณธ๊ณผ ์ค‘๊ธ‰ (์—ด์‹ฌํžˆ ์ค€๋น„ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค)
6. ํ’€์Šคํƒ ๊ธฐ๋ณธ๊ณผ ํด๋ก ์ฝ”๋”ฉ (์—ด์‹ฌํžˆ ์ค€๋น„ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค)

๋Œ“๊ธ€