현존 최강 크롤링 기술: Scrapy와 Selenium 정복

 

# 가장 빠르고, 가장 안정적인 크롤링 기술은?

가장 기본적인 파이썬 기술은 requests 와 BeautifulSoup 라이브러리를 사용하는 기법입니다. 다만, 웹사이트마다, 관련 기술로만은 크롤링이 어려운 케이스가 많습니다. 이럴 때 사용하는 기술이 Selenium, Headless Chrome 입니다. 관련 기술을 사용하면 로그인이 필요한 사이트와 같이 특별한 조작이 필요한 환경에서도 크롤링이 가능합니다. 또한, 단순히 하나의 웹페이지를 크롤링하기보다, 대량의 데이터를 안정적으로 크롤링할 때에는, Scrapy 라는 프레임워크룰 사용합니다. Scrapy 는 가장 빠르고, 가장 안정적인 크롤링 기술입니다.  

 

# 어렵지 않나요? 어느정도 알아야할까요? 제 PC에서도 가능할까요?

파이썬 프로그래밍과 크롤링 기초 이해만 가능하다면, 핵심 부분을 중심으로 실제 크롤링할만한 예제를 크롤링해가며, 바로 활용까지 가능토록 꾸몄습니다. 또한, 관련 기술은 깊게 속속들이 이해해야 하는 기술이라기 보다는, 활용 기술에 가깝기 때문에, 범위를 정해서, 단계별로 꼭 이해가 필요한 부분을 중심으로 익히면, 보다 쉽고, 짧은 시간안에 익힐 수 있습니다. 

 * 본 강의는 복잡할 수도 있는 관련 기술을 짧은 시간 안에 쉽게! 익힐 수 있도록 구성하였습니다.

 

# 저는 파이썬 프로그래밍과 크롤링 기초 지식이 없는데 체계적으로 익힐 수 있을까요?

본 강의는 본 상세 소개의 하단 부에 기재되어 있는 데이터 분석/과학 로드맵에 맞추어, 파이썬 입문과 크롤링 기초 부트캠프 과 함께 익히시면 체계적으로 기초부터, 크롤링 기술 또는 데이터 분석/과학 기술까지 순차적으로 익히실 수 있도록 구성하였습니다.

특히, 파이썬 프로그래밍과 크롤링 기초는 파이썬 입문과 크롤링 기초 부트캠프 수업을 통해 별도로 제공하며, 두 과목을 통해 파이썬과 크롤링을 몰랐던 분들도 바닥부터 따라오실 수 있도록, 윈도우/맥 각 환경에서의 프로그램 설치부터 웹에 대한 이해등 배경지식까지 모두 설명하였습니다.

 

# 데이터 수집 기술인 크롤링 관련 다양한 기술을 모두 익히고 싶은데 어떻게 할 수 있을까요? 

파이썬 입문과 크롤링 기초 부트캠프 과 본 강의를 통해 현존하는 모든 크롤링 기술을 익힐 수 있습니다. 

 

# 데이터 분석/과학을 위해 크롤링 기술을 어느 정도까지 익혀야 할까요?

파이썬 입문과 크롤링 기초 부트캠프 과 본 강의에서 다루는 수준까지 익히시면 충분합니다. 또 관련 기술을 익히기 위해 필요한 배경지식(웹을 구성하는 HTML/CSS) 과, 프로그래밍에서 데이터를 다루기 위해 필요한 다양한 데이터 포맷, 그리고 Open API 사용법까지 두 강의에서 모두 다루고 있습니다. 이를 통해, 자연스럽게 데이터를 어떻게 프로그래밍으로 다루는지 익숙해질 수 있습니다.

 * 또한, 추후 데이터분석/과학 작업 진행시, 실제로 가장 어려운 것은 내가 원하는 데이터를 구하는 일입니다. 본 강의와 파이썬 입문과 크롤링 기초 부트캠프를 통해, 내가 원하는 데이터를 구하는데 가장 강력한 무기를 장착하신다면, 훨씬 경쟁력 있고, 역량있는 데이터 분석가/과학자로 성장할 수 있습니다.

 

<center> <div id="text-block-20" class="mk-text-block "> <div class="clearboth"><strong style="color:#bf360c">Selenium으로 브라우저와 마우스를 조작해서 크롤링하기 </strong><strong style="color:#bf360c">(다음 뉴스 댓글 크롤링 예제)</strong></div> <div class="clearboth"><img src="https://cdn.inflearn.com/public/files/courses/324146/e5e8aeae-5967-4266-a214-35ffd0c3ba08/selenium3.gif" alt="" width="800" /></div> <div class="clearboth"> </div> <div class="clearboth"> <p style="text-align:start">혹시 체계적인 커리큘럼이 궁금하시다면, 크롤링 강의와 데이터 분석, 데이터 베이스 강의도 함께 익혀보실 것을 추천드립니다. </p> <div class="vc_col-sm-12 wpb_column column_container vc_custom_1443015009332 _ height-full" style="box-sizing:inherit;color:#000a12;font-family:'Noto Sans KR', -apple-system, system-ui, system-ui, 'Apple SD Gothic Neo', 'Segoe UI', Roboto, 'Helvetica Neue', Arial, sans-serif, Oxygen, Ubuntu, Cantarell, 'Fira Sans', 'Droid Sans', Helvetica;font-size:16px;text-align:start;background-color:#ffffff"> <div class="vc_col-sm-12 wpb_column column_container vc_custom_1443015009332 _ height-full" style="box-sizing:inherit"><center style="box-sizing:inherit"> <div style="box-sizing:inherit;width:536px;padding:0.5rem;margin-top:2rem;margin-bottom:2rem"> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding:0px;line-height:27.808px;font-size:1.1rem;color:#ba372a;font-weight:bold">'아! 진짜 다르구나!' 라고 느낄 수 있도록 고민고민해서 만드는 IT강의 시리즈입니다<br style="box-sizing:inherit" />합리적이고 서로 배려하고 좋은 인연을 맺을 수 있는 분들만<br style="box-sizing:inherit" />수강 부탁드립니다!</p> </div> </center> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding:0.4rem 0rem 0.4rem 1rem;font-size:1.1rem;background-color:#ba372a"><span style="box-sizing:inherit;color:white;font-weight:bold">인프런에 오픈 중 또는 오픈 예정인 강의 코스</span></p> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding:0.4rem 0rem 0.4rem 1rem;font-size:1.1rem;background-color:#eeeeee"><span style="box-sizing:inherit;color:inherit;font-weight:bold">풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리</span></p> <center style="box-sizing:inherit"><img style="box-sizing:inherit;height:auto;display:block" title="fullstack_roadmap.jpg" src="https://cdn.inflearn.com/public/files/courses/325804/5251d2ba-69a9-4a9c-a96c-c3dac4e9665e/fullstack_roadmap.jpg" alt="" width="720px" /></center> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding:0px">익히는 순서에 따라 번호를 붙여 놓았습니다.</p> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding-right:0px;padding-bottom:0px;padding-left:0px"><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/course/python-crawling-basic?inst=71325257" target="_blank" rel="noopener noreferrer">1. <span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#1976d2">파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)</span><br style="box-sizing:inherit" /></a><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/course/SQL-DB-MYSQL-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D?inst=7abfe3b0" target="_blank" rel="noopener noreferrer">2. <span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#1976d2">MySQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본)</span></a><br style="box-sizing:inherit" /><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/course/nosql-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%AA%BD%EA%B3%A0DB-%EC%9E%94%EC%9E%AC%EB%AF%B8%EC%BD%94%EB%94%A9?inst=c98270ed" target="_blank" rel="noopener noreferrer">3. <span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#1976d2">NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본)</span></a><br style="box-sizing:inherit" /><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/course/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%ED%92%80%EC%8A%A4%ED%83%9D-1?inst=4d5f4fb3" target="_blank" rel="noopener noreferrer"><span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#1976d2">4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]</span></a><br style="box-sizing:inherit" /><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/course/%ED%94%84%EB%9F%B0%ED%8A%B8%EC%97%94%EB%93%9C-%ED%92%80%EC%8A%A4%ED%83%9D-2?inst=c3f5cbf0" target="_blank" rel="noopener"><span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#1976d2">5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]</span></a><br style="box-sizing:inherit" /><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/course/%EC%84%9C%EB%B2%84%EA%B8%B0%EC%88%A0-%ED%92%80%EC%8A%A4%ED%83%9D-3?inst=b03c6f9f" target="_blank" rel="noopener"><span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#1976d2">6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]</span></a><br style="box-sizing:inherit" />7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 21' 하반기 오픈 예정)<br style="box-sizing:inherit" />8. 풀스택을 위한 Vue 또는 React 프레임워크 기본 (풀스택 Part5, 21' 하반기 예정)<br style="box-sizing:inherit" /><br style="box-sizing:inherit" /><b style="box-sizing:inherit">앱/웹기술이 급격히 변화 중이어서, 우선순위를 조정하였습니다. 보다 최신 기술을 선점하기 위해, 웹과 앱 모두를 지원하는 가장 최신 기술인 flutter 을 우선 진행합니다.</b></p> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding-right:0px;padding-bottom:0px;padding-left:0px"><span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#e03e2d">* 현재까지의 풀스택 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)<br style="box-sizing:inherit" /><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/roadmaps/66" target="_blank" rel="noopener noreferrer">[입문~중급] 가장 쉽고, 가장 최신 기술로 익히는 풀스택 로드맵</a><span style="box-sizing:inherit;color:inherit;font-weight:bold"><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/roadmaps/49" target="_blank" rel="noopener noreferrer">(바로가기)</a></span></span></p> <p style="box-sizing:inherit;margin-top:2rem;margin-right:0px;margin-left:0px;padding:0.4rem 0rem 0.4rem 1rem;font-size:1.1rem;background-color:#eeeeee"><span style="box-sizing:inherit;color:inherit;font-weight:bold">데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리</span></p> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding-right:0px;padding-bottom:0px;padding-left:0px">익히는 순서에 따라 번호를 붙여 놓았습니다.</p> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding-right:0px;padding-bottom:0px;padding-left:0px"><a style="font-family:sans-serif" href="https://www.inflearn.com/course/python-crawling-basic?inst=71325257" target="_blank" rel="noopener noreferrer">1. <span style="color:#1976d2">파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)</span><br /></a><a style="font-family:sans-serif" href="https://www.inflearn.com/course/crawling-scrapy-selenium?inst=469beff7" target="_blank" rel="noopener noreferrer">2. <span style="color:#1976d2">Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)</span><br /></a><a style="font-family:sans-serif" href="https://www.inflearn.com/course/sql-db-mysql-파이썬-데이터분석?inst=7abfe3b0" target="_blank" rel="noopener noreferrer">3. <span style="color:#1976d2">SQL과 데이터 저장/분석 기본 (데이터 저장/분석)</span><br /></a><span style="color:#1976d2"><a href="https://www.inflearn.com/course/nosql-파이썬-몽고db-잔재미코딩?inst=c98270ed" target="_blank" rel="noopener">4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)</a></span><br style="font-family:sans-serif" /><span style="color:#1976d2"><a href="https://www.inflearn.com/course/파이썬-데이터분석-전처리-판다스-시각화?inst=65936339" target="_blank" rel="noopener">5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]</a></span><br style="font-family:sans-serif" /><a style="font-family:sans-serif" href="https://www.inflearn.com/course/처음-파이썬-머신러닝-입문?inst=8f7d0ec8" target="_blank" rel="noopener"><strong><span style="color:#1976d2">6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]</span></strong></a><br style="font-family:sans-serif" /><span style="color:#1976d2">7. AI 인공지능 부트캠프 (데이터 예측 자동화, 22' 상반기) [데이터과학 Part3]</span></p> <p style="box-sizing:inherit;margin-top:0px;margin-right:0px;margin-left:0px;padding-right:0px;padding-bottom:0px;padding-left:0px"><span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#e03e2d">* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)<br style="box-sizing:inherit" /><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/roadmaps/66" target="_blank" rel="noopener noreferrer">[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기</a><span style="box-sizing:inherit;color:inherit;font-weight:bold"><a style="box-sizing:inherit;text-decoration-line:none;cursor:pointer" href="https://www.inflearn.com/roadmaps/66" target="_blank" rel="noopener noreferrer">(바로가기)</a></span></span></p> <p><span style="box-sizing:inherit;font-weight:inherit;font-style:inherit;color:#e03e2d"> </span></p> </div> </div> </div> </div> </center>