현존 최강 크롤링 기술: Scrapy와 Selenium 정복

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

(4개의 수강평)

117명의 수강생
33,000원
지식공유자 · 잔재미코딩
41회 수업 · 총 8시간 46분 수업
평생 무제한 시청
수료증 발급 강좌
수강 난이도 '초급, 중급, 활용'

이런 걸 배울 수 있어요

  • Selenium/Headless Chrome/PhantomJS를 활용한 크롤링
  • 브라우저를 프로그래밍으로 제어해서 크롤링하기
  • Scrapy를 사용한 크롤링
  • 동적웹페이지 크롤링

온오프라인 5천명이상 수강! 완성도높은 강의로 짧은 시간에 최신 기술을 익히세요!

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 에서 익힌 기본 기술을 기반으로 강력한 크롤링 기술을 익히는 강의입니다. 

 

# 가장 빠르고, 가장 안정적인 크롤링 기술은?

Scrapy 프레임워크는 가장 빠르고, 가장 안정적인 크롤링 기술입니다. 추가로 Selenium, PhantomJS, Headless Chrome을 사용하면 로그인이 필요한 사이트와 같이 특별한 조작이 필요한 환경에서도 크롤링이 가능합니다.

 

# 어렵지 않나요? 어느정도 알아야할까요? 제 PC에서도 가능할까요?

파이썬 프로그래밍과 크롤링 기초 이해만 가능하다면, 핵심 부분을 중심으로 실제 크롤링할만한 예제를 크롤링해가며, 바로 활용까지 가능토록 꾸몄습니다.

 

# 저는 파이썬 프로그래밍과 크롤링 기초 지식이 없는데 가능할까요?

파이썬 프로그래밍과 크롤링 기초는 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 수업을 통해 별도로 제공하며, 두 과목을 통해 파이썬과 크롤링을 몰랐던 분들도 바닥부터 따라오실 수 있도록, 윈도우/맥 각 환경에서의 프로그램 설치부터 웹에 대한 이해등 배경지식까지 모두 설명하였습니다.

 

# 크롤링 기술을 현업에서 활용할 정도의 수준으로 알 수 있을까요?

파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 과 본 강의를 통해 결국 현존하는 모든 크롤링 기술과 실제 활용을 위해 필요한 팁까지 모두 녹여냈습니다.

 

짧은 시간에 익히고, 활용할 수 있도록 남다른 핵심 요약 자료, 코드 자료를 모두 드립니다. 필요할 때 언제든 필요한 커리큘럼을 빠르게 듣고, 관련 자료로 빠르게 활용할 수 있는 형식으로 만들었습니다. 

 

시간을 낭비하지 마세요.! 수차례 시도 끝에 가장 학습 효과가 컸던 커리큘럼으로 구성했습니다.

수백만원의 수강료를 내고 문법만 전달하는 강의를 들으셨던 분들이 있었을까요? 수업을 들으며, 자연스럽게 반복하고, 머리에 쏙쏙 들어올 수 밖에 없는, 그리고 실제 사용이 가능하도록 패턴화까지 시켜서 그대로도 활용가능하고! 다양한 케이스에 맞도록 변경도 가능하고, 그리고 기본기도 제대로 쌓을 수 있도록. 그러면서도 문과분들까지 고려하고, 여기에 시간까지 고려한 커리큘럼. 온라인 강의에 대한 애착으로 고민고민 끝에 만들어낸 강의입니다.

 

데이터 과학, 빅테이터, 크롤링을
익히고자 하시는 분들을 위해!
- 짧은 시간안에 현존 최강 크롤링 기술 (Scrapy와 Selenium) 을
- 실전 크롤링 예제를 통해 빠르게 익힙니다.
 
Selenium으로 브라우저와 마우스를 조작해서 크롤링하기 (다음 뉴스 댓글 크롤링 예제)
파이썬, 크롤링의 기본기를 다지고, 이를 기반으로 업무 자동화까지도 활용해볼 수 있도록 꾸몄습니다.

수강 대상

  • 데이터 과학 기본기로 크롤링부터 제대로 익히고 싶은 분들
  • 크롤링 최신 기술을 익히고싶은 분들

선수 지식

  • 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 선수강 필요

지식공유자 소개

잔재미코딩

Dave Lee 강사 (잔재미코딩)

현: 이커머스 기업 빅데이터 개발 및 기술 기획
전: SK, 삼성전자, 외국계 기업, 고려대학교 일어일문 학사, 연세대학교 컴퓨터공학 석사
주요 개발 이력: 삼성페이, 이커머스 데이터 서비스, 모바일 보안 시스템(CAS), RTOS 컴파일러, Linux Kernel Driver, NAS Embedded System  
저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발,
누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서
운영 블로그: 잔재미코딩 (http://www.fun-coding.org) - 풀스택/데이터과학 기술 공유 블로그

교육과정

모두 펼치기 41 강의 8시간 46분
섹션 0. 강의 준비
7 강의 60 : 31
오리엔테이션과 강의 특징
05 : 09
강의 및 학습 방법 소개
11 : 05
파이썬과 크롤링 기본 강의 요약 정리
15 : 53
(참고) 수업준비를 위한 anaconda 와 쥬피터노트북 소개
06 : 01
(참고) 쥬피터 노트북 및 아나콘다 설치 (맥)
06 : 34
(참고) 쥬피터 노트북 및 아나콘다 설치 (윈도우)
05 : 46
(참고) 쥬피터 노트북 사용법 익히기
10 : 03
섹션 1. 브라우저 제어해서 크롤링하기
6 강의 93 : 09
브라우저를 제어해서 크롤링하기 - Selenium 이해 및 설치
15 : 05
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기1
15 : 11
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기2
17 : 32
브라우저를 제어해서 크롤링하기 - Headless Chrome 과 PhantomJS 익히기
18 : 14
실전 크롤링: 브라우저를 제어해서 다음 뉴스 기사 제목 가져오기
11 : 52
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기
15 : 15
섹션 2. 동적 웹페이지 크롤링하기
4 강의 56 : 23
동적 웹페이지 기술 이해
11 : 54
동적 웹페이지 크롤링 기법 익히기
13 : 46
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기1
19 : 55
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기2
10 : 48
섹션 3. 데이터를 선택하는 또다른 기법: XPATH
3 강의 37 : 23
XPATH 이해하기
15 : 52
실전 크롤링: XPATH와 Selenium 활용해서 페이지북 로그인 하기
11 : 46
실전 크롤링: XPATH와 Selenium 활용해서 seeko 기사 가져오기
09 : 45
섹션 4. 강력한 크롤링 기술: Scrapy
11 강의 155 : 13
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해1
14 : 45
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해2
15 : 29
강력/최신 크롤링 기술: Scrapy 이해하기
11 : 59
강력/최신 크롤링 기술: Scrapy 프로젝트 만들기
17 : 09
강력/최신 크롤링 기술: Scrapy 크롤러 만들기
15 : 46
강력/최신 크롤링 기술: Scrapy shell 사용법 익히기
14 : 56
강력/최신 크롤링 기술: Scrapy 로 css selector/xpath 사용하기
06 : 18
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1
13 : 41
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기2
15 : 49
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기1
15 : 27
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기2
13 : 54
섹션 5. 현업 스타일 Scrapy 실전 활용 (중급)
10 강의 123 : 58
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1
15 : 15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기2
10 : 12
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기3
13 : 36
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기4
08 : 15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기5
11 : 33
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기6
14 : 40
실전 크롤링: scrapy 크롤링 팁
08 : 18
실전 크롤링: scrapy로 네이버 오픈API 활용 크롤링1
12 : 33
실전 크롤링: scrapy로 네이버 오픈API 활용 크롤링2
16 : 20
빅데이터/데이터 과학, 풀스택을 위한 크롤링 활용 및 향후 학습 소개
13 : 16

공개 일자

2019년 7월 22일 (마지막 업데이트 일자 : 2019년 7월 23일)

수강 후기

5.0
4개의 수강평
설동헌 29일 전
selenium과 scrapy 프레임웍의 기본적인 사용법에 대해서 많은 도움을 받았습니다. 새로 올라온 선생님의 SQL 강좌도 많이 기대되네요. 제 삶에 많은 도움이 될 좋은 강의 올려주셔서 정말 감사합니다.
잔재미코딩 프로필

잔재미코딩 28일 전
삶에 도움까지 되신다니 정말 감사합니다. IT기술이 처음 익히시는데에 시간이 많이 걸리는데요. 최소한 처음 새로운 기술을 익히시는데 타강의보다 시간을 단축시키고, 삶에서 알아두면 분명 언젠가 도움이 되는 꼭 필요한 기술을 익히실수 있도록 꾸준히 노력하겠습니다. 감사합니다.

하록 1달 전
저번 기초 강좌에 이어 이 강좌도 완강했습니다. 사실 초보이고 기초 강좌도 마스터하지 못했는데 여기까지 해야되나 의구심도 들었습니다. 하지만 전체적인 그림을 알아야 제가 무엇에 집중해야할지 알 수 있기 때문에 나무를 베기 전에 숲을 본다는 마음으로 수강했습니다. 저의 경우 일단은 Selenium에 초점을 더 맞춰서 나름대도 활용해볼 생각이고 그게 능숙해지면 scrapy로 천천히 넘어갈 생각입니다. 아주 어려운 내용을 어떻게든 효과적으로 설명해주시려고 최선을 다하시는 모습, 매번 감사드립니다. 전에 기초 강좌에서와 마찬가지로 이번 강좌도 칭찬강요(?) 멘트를 날려주셨습니다ㅋㅋㅋㅋ. 저는 그 점에서 단순히 웃기다는 생각보다 선생님께서 강의를 대하시는 마음이 단순히 수익창출용이 아닌, 정말 강의와 본인을 동일시 하는 수준에 와 계신다는 것을 느꼈습니다. 그런 멘트를 치실때마다 보이지 않는 곳에서 영혼을 갈아넣어서 연구하시는 모습이 그려지더군요ㅎㅎ 다음 강좌도 기다리겠습니다. 늘 건강하시고 힘내십시오! P.S 비단 이 강좌뿐만 아니라 모든 온라인 IT 강좌가 마찬가지겠지만 강의자와 학생의 개발환경이 다르다보니 똑같이 입력했는데 작동이 잘 되지 않고, 그걸 강의자가 현실적으로 찾아주기 어려운 상황이 종종 발생하는 것 같습니다. IT 기술 개발이 더 되어 이런 간격도 점차 줄었으면 좋겠습니다ㅎㅎ
잔재미코딩 프로필

잔재미코딩 1달 전
이렇게 시간을 내서, 적어주시니, 정말 정말 감사합니다. 영혼을 갈았다는 말씀에서, 빵 터졌습니다. 어떻게 가능한 많은 분들이 효과를 얻으실까를 고민고민하면서, 강의를 만들다보니, 한편으로는 말씀하신 부분이 맞기도 합니다. 하나씩 완벽하게 익히고, 다음것을 나가기보다, 쭈욱 들으시면서, 조금씩 익숙해지시는 것도 좋은 방법 같아요. 저도 집에 IT책이 200권? 정도 있는데, 그중에 완독한 것은 없습니다. 필요한 부분만 볼 때도 있고, 참고할 내용 잠깐 본것도 있는정도인데요. 차츰차츰 이렇게 다양한 기술을 참고하다보면, 익숙해지고, 큰 그림도 그려지고, 결국 여러 기술을 잘 활용할 수 있더라구요. 꼭 꾸준히 하셔서, 좋은 결과 있으셨으면 좋겠습니다. 감사합니다.