Thumbnail
BEST
데이터 사이언스 데이터 엔지니어링

현존 최강 크롤링 기술: Scrapy와 Selenium 정복 대시보드

(4.9)
112개의 수강평 ∙  1,261명의 수강생
공개되지 않은 강의로
수강이 제한됩니다.
지식공유자: 잔재미코딩 DaveLee
총 42개 수업 (8시간 57분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변: 미제공

중급자를 위해 준비한
[업무 자동화, 데이터 엔지니어링] 강의입니다.

데이터 과학, 빅데이터, 크롤링을 익히고자 하시는 분들을 위해 - 현존하는 최신, 최고의 크롤링 기술을 다양한 예제로 빠르게 익힐 수 있도록 꾸몄습니다.

✍️
이런 걸
배워요!
Selenium/Headless Chrome/PhantomJS를 활용한 크롤링
브라우저를 프로그래밍으로 제어해서 크롤링하기
Scrapy를 사용한 크롤링
동적웹페이지 크롤링

온오프라인 2만명 수강! 
현존 최강 크롤링(데이터 수집) 전문 기술을 쉽게 익힐 수 있는
완성도 높은 강의

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 과 함께 크롤링 및 파이썬 데이터 수집 기술을 체계적으로 익히는 강의입니다. 현업과 병행하며, 일반적인 IT 강의보다는 최대한 수강자 입장을 고민해서 만든 특별한 강의로, 강의와 더불어, 짧은 시간에 익힐 수 있도록 기능을 하나씩 따라하며, 데이터 처리 역량을 더 쌓을 수 있는 강의입니다.

 

가장 빠르고, 가장 안정적인 크롤링 기술은?

가장 기본적인 파이썬 기술은 requests 와 BeautifulSoup 라이브러리를 사용하는 기법입니다. 다만, 웹사이트마다, 관련 기술로만은 크롤링이 어려운 케이스가 많습니다. 이럴 때 사용하는 기술이 Selenium, Headless Chrome 입니다. 관련 기술을 사용하면 로그인이 필요한 사이트와 같이 특별한 조작이 필요한 환경에서도 크롤링이 가능합니다. 또한, 단순히 하나의 웹페이지를 크롤링하기보다, 대량의 데이터를 안정적으로 크롤링할 때에는, Scrapy 라는 프레임워크룰 사용합니다. Scrapy 는 가장 빠르고, 가장 안정적인 크롤링 기술입니다.  

 

# 어렵지 않나요? 어느정도 알아야할까요? 제 PC에서도 가능할까요?

파이썬 프로그래밍과 크롤링 기초 이해만 가능하다면, 핵심 부분을 중심으로 실제 크롤링할만한 예제를 크롤링해가며, 바로 활용까지 가능토록 꾸몄습니다. 또한, 관련 기술은 깊게 속속들이 이해해야 하는 기술이라기 보다는, 활용 기술에 가깝기 때문에, 범위를 정해서, 단계별로 꼭 이해가 필요한 부분을 중심으로 익히면, 보다 쉽고, 짧은 시간안에 익힐 수 있습니다. 

 * 본 강의는 복잡할 수도 있는 관련 기술을 짧은 시간 안에 쉽게! 익힐 수 있도록 구성하였습니다.

 

# 저는 파이썬 프로그래밍과 크롤링 기초 지식이 없는데 체계적으로 익힐 수 있을까요?

본 강의는 본 상세 소개의 하단 부에 기재되어 있는 데이터 분석/과학 로드맵에 맞추어, 파이썬 입문과 크롤링 기초 부트캠프 과 함께 익히시면 체계적으로 기초부터, 크롤링 기술 또는 데이터 분석/과학 기술까지 순차적으로 익히실 수 있도록 구성하였습니다.

특히, 파이썬 프로그래밍과 크롤링 기초는 파이썬 입문과 크롤링 기초 부트캠프 수업을 통해 별도로 제공하며, 두 과목을 통해 파이썬과 크롤링을 몰랐던 분들도 바닥부터 따라오실 수 있도록, 윈도우/맥 각 환경에서의 프로그램 설치부터 웹에 대한 이해등 배경지식까지 모두 설명하였습니다.

 

# 데이터 수집 기술인 크롤링 관련 다양한 기술을 모두 익히고 싶은데 어떻게 할 수 있을까요? 

파이썬 입문과 크롤링 기초 부트캠프 과 본 강의를 통해 현존하는 모든 크롤링 기술을 익힐 수 있습니다. 

 

데이터 분석/과학을 위해 크롤링 기술을 어느 정도까지 익혀야 할까요?

파이썬 입문과 크롤링 기초 부트캠프 과 본 강의에서 다루는 수준까지 익히시면 충분합니다. 또 관련 기술을 익히기 위해 필요한 배경지식(웹을 구성하는 HTML/CSS) 과, 프로그래밍에서 데이터를 다루기 위해 필요한 다양한 데이터 포맷, 그리고 Open API 사용법까지 두 강의에서 모두 다루고 있습니다. 이를 통해, 자연스럽게 데이터를 어떻게 프로그래밍으로 다루는지 익숙해질 수 있습니다.

 * 또한, 추후 데이터분석/과학 작업 진행시, 실제로 가장 어려운 것은 내가 원하는 데이터를 구하는 일입니다. 본 강의와 파이썬 입문과 크롤링 기초 부트캠프를 통해, 내가 원하는 데이터를 구하는데 가장 강력한 무기를 장착하신다면, 훨씬 경쟁력 있고, 역량있는 데이터 분석가/과학자로 성장할 수 있습니다.

 

짧은 시간에 관련 활용 기술에 익숙해질 수 있도록
단계별/기술별, 다양한 코드와 자료를 기반으로, 강의를 제공합니다

 

시간을 낭비하지 마세요!
우리는 정보가 없어서 못하는 것이 아닙니다!
검증된 강의로 익히세요!

수백만원의 수강료를 내고 문법만 전달하는 강의를 들으셨던 분들이 있었을까요? 수업을 들으며, 자연스럽게 반복하고, 머리에 쏙쏙 들어올 수 밖에 없는, 그리고 실제 사용이 가능하도록 패턴화까지 시켜서 그대로도 활용가능하고! 다양한 케이스에 맞도록 변경도 가능하고, 그리고 기본기도 제대로 쌓을 수 있도록. 그러면서도 문과분들까지 고려하고, 여기에 시간까지 고려한 커리큘럼. 온라인 강의에 대한 애착으로 고민고민 끝에 만들어낸 강의입니다.

 
Selenium으로 브라우저와 마우스를 조작해서 크롤링하기 (다음 뉴스 댓글 크롤링 예제)
 

혹시 체계적인 커리큘럼이 궁금하시다면, 크롤링 강의와 데이터 분석, 데이터 베이스 강의도 함께 익혀보실 것을 추천드립니다. 

'아! 진짜 다르구나!' 라고 느낄 수 있도록 고민고민해서 만드는 IT강의 시리즈입니다
합리적이고 서로 배려하고 좋은 인연을 맺을 수 있는 분들만
수강 부탁드립니다!

인프런에 오픈 중 또는 오픈 예정인 강의 코스

풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. MySQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본)
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본)
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]
6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]
7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 21' 하반기 오픈 예정)
8. 풀스택을 위한 Vue 또는 React 프레임워크 기본 (풀스택 Part5, 21' 하반기 예정)

앱/웹기술이 급격히 변화 중이어서, 우선순위를 조정하였습니다. 보다 최신 기술을 선점하기 위해, 웹과 앱 모두를 지원하는 가장 최신 기술인 flutter 을 우선 진행합니다.

* 현재까지의 풀스택 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~중급] 가장 쉽고, 가장 최신 기술로 익히는 풀스택 로드맵(바로가기)

데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]
6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]
7. AI 인공지능 부트캠프 (데이터 예측 자동화, 22' 상반기) [데이터과학 Part3]

* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기(바로가기)

 

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
데이터 과학 기본기로 크롤링부터 제대로 익히고 싶은 분들
크롤링 최신 기술을 익히고싶은 분들
📚
선수 지식,
필요할까요?
파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 선수강 필요

안녕하세요
잔재미코딩 DaveLee 입니다.
잔재미코딩 DaveLee의 썸네일

잔재미코딩, Dave Lee

  • About 잔재미코딩 소개 블로그 [클릭]

  • 주요 경력: 쿠팡 수석 개발 매니저/Principle Product Manager, 삼성전자 개발 매니저 (경력 약 15년)

  • 학력: 고려대 일어일문 / 연세대 컴퓨터공학 석사 (완전 짬뽕)

  • 주요 개발 이력: 삼성페이, 이커머스 검색 서비스, RTOS 컴파일러, Linux Kernel Patch for NAS

  • 저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발, 누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서

  • 운영 사이트: 잔재미코딩 (http://www.fun-coding.org) [클릭]

  • 풀스택/데이터과학 관련 무료 자료를 공유하는 사이트입니다.

  • 기타: 잔재미코딩 유투브 채널 [클릭] 

    • IT 학습에 도움이 되는 팁/ 짧은 무료 강의를 공유하고자, 조금씩 시작하고 있습니다~

최신 현업과 IT 강의를 병행하며, 8년째 꾸준히 견고한 풀스택과 데이터과학 강의를 만들고 있습니다.

 

커리큘럼 총 42 개 ˙ 8시간 57분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 강의 준비
오리엔테이션과 강의 특징 미리보기 05:09
강의 진행 방법 소개 11:05
학습 효과를 높일 수 있는 꿀팁과 공유사항 17:18
파이썬과 크롤링 기본 강의 요약 정리 15:53
(참고) 수업준비를 위한 anaconda 와 쥬피터노트북 소개 06:01
(참고) 쥬피터 노트북 및 아나콘다 설치 (맥) 06:32
(참고) 쥬피터 노트북 및 아나콘다 설치 (윈도우) 07:10
(참고) 쥬피터 노트북 사용법 익히기 10:03
섹션 1. 브라우저 제어해서 크롤링하기
브라우저를 제어해서 크롤링하기 - Selenium 이해 및 설치 미리보기 15:05
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기1 15:11
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기2 17:32
브라우저를 제어해서 크롤링하기 - Headless Chrome 과 PhantomJS 익히기 18:14
실전 크롤링: 브라우저를 제어해서 다음 뉴스 기사 제목 가져오기 11:52
실전 크롤링: 브라우저를 제어해서 다양한 데이터 가져오기 04:05
섹션 2. 동적 웹페이지 크롤링하기
동적 웹페이지 기술 이해 미리보기 11:54
동적 웹페이지 크롤링 기법 익히기 13:46
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기1 19:55
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기2 10:48
섹션 3. 데이터를 선택하는 또다른 기법: XPATH
XPATH 이해하기 미리보기 15:52
참고: XPATH와 Selenium 활용해서 페이스북 로그인 하기 11:46
참고: XPATH와 Selenium 활용해서 seeko 기사 가져오기 (해당 사이트 폐쇄로 참고 영상으로 변경) 09:45
섹션 4. 강력한 크롤링 기술: Scrapy
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해1 14:45
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해2 15:29
강력/최신 크롤링 기술: Scrapy 이해하기 미리보기 11:59
강력/최신 크롤링 기술: Scrapy 프로젝트 만들기 17:09
강력/최신 크롤링 기술: Scrapy 크롤러 만들기 15:46
강력/최신 크롤링 기술: Scrapy shell 사용법 익히기 14:56
강력/최신 크롤링 기술: Scrapy 로 css selector/xpath 사용하기 06:18
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1 13:41
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기2 15:49
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기1 15:27
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기2 13:54
섹션 5. 현업 스타일 Scrapy 실전 활용 (중급)
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1 15:15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기2 10:12
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기3 13:36
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기4 08:15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기5 14:43
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기6 14:40
실전 크롤링: scrapy 크롤링 팁 08:18
참고: scrapy로 네이버 오픈API 활용 크롤링1 (크롤링 부트캠프의 오픈API 이해 기반) 12:33
참고: scrapy로 네이버 오픈API 활용 크롤링2 (크롤링 부트캠프의 오픈API 이해 기반) 16:20
빅데이터/데이터 과학, 풀스택을 위한 크롤링 활용 및 향후 학습 소개 13:16
강의 게시일 : 2019년 07월 23일 (마지막 업데이트일 : 2021년 02월 19일)
수강평 총 112개
수강생분들이 직접 작성하신 수강평입니다.
4.9
112개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
kwansoon.kr thumbnail
5
제 생각에는 크롤링 기초 강좌 중에서는 최고인 것 같습니다. 논문 떄문에 급하게 기술을 습득했어야 했는데 생각보다 쉽지 않았습니다. 다른 (해외)강의도 들어보고 책도 봤는데.... 이 강좌 2번 딱 들으니깐 이제 필요한 데이터는 수집이 가능합니다! 감사합니다! 화이팅 하십시요! 강사님~
2020-01-22
지식공유자 잔재미코딩 DaveLee
안녕하세요 이렇게 좋은 수강평을 써주셔서 정말 감사합니다. 필요한 기술을 혼자 익히려먼 굉장히 오랜 시간이 걸리는 부분을 짧은 시간안에 필요한 부분만 빠르게 자기것으로 만들수 있도록 하는 것이 본 강좌의 목표중 하나였는데 이 목적에 딱 맞는 정말 귀한 수강평을 달아주셔서 너무 보람되고 기쁩니다. 감사합니다.
2020-01-29
김상원 thumbnail
5
3년째 수강중입니다!! 제 인생 최고의 강사님~ 친절도 5점 / 설명력 5점 / 목소리 4.5점 -> 반올림 5점 / 예제선정 5점
2022-12-27
지식공유자 잔재미코딩 DaveLee
^^ 높은 점수 감사드려요 늘 함께해주시는 수강자님이시군요~! 더욱더 열심히 하겠습니다~
2023-05-28
allrounder thumbnail
5
초급에서 너무 재밌게 배워서 중급도 배웠는데 너무 좋았습니다! 제가 강의가 나온지 조금 후에 시작해서 바뀐부분도 많고(응용해서 스스로 해보려고 열심히 노력했으나,, 몇개는 끝까지 실패했습니다ㅠ) 아무튼 기본적인 플로우 알기에는 너무 좋았습니다. 이제 고급강의로 넘어가는데, 해당 강의에서는 중급에서 서버 변경으로 제가 실패한 부분 극복할 수 있는 기회가 되었으면 좋겠네요
2022-07-03
지식공유자 잔재미코딩 DaveLee
감사합니다~^^ 발전하고 계시네요 수강자님의 성장의 여정을 응원합니다!!
2023-05-29
최찬혁 thumbnail
5
최고의강의
2022-01-21
지식공유자 잔재미코딩 DaveLee
좋은 수강평 감사합니다. 도움이 되셨다고 이해하겠습니다. 감사합니다.
2022-01-21
JaeChul Lee thumbnail
5
이해가 쏙쏙
2022-01-02
지식공유자 잔재미코딩 DaveLee
감사합니다.
2022-01-25