현존 최강 크롤링 기술: Scrapy와 Selenium 정복

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

(9개의 수강평)

170명의 수강생

이런 걸 배울 수 있어요

  • Selenium/Headless Chrome/PhantomJS를 활용한 크롤링
  • 브라우저를 프로그래밍으로 제어해서 크롤링하기
  • Scrapy를 사용한 크롤링
  • 동적웹페이지 크롤링

온오프라인 5천명이상 수강! 완성도높은 강의로 짧은 시간에 최신 기술을 익히세요!

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 에서 익힌 기본 기술을 기반으로 강력한 크롤링 기술을 익히는 강의입니다. 

 

# 가장 빠르고, 가장 안정적인 크롤링 기술은?

Scrapy 프레임워크는 가장 빠르고, 가장 안정적인 크롤링 기술입니다. 추가로 Selenium, PhantomJS, Headless Chrome을 사용하면 로그인이 필요한 사이트와 같이 특별한 조작이 필요한 환경에서도 크롤링이 가능합니다.

 

# 어렵지 않나요? 어느정도 알아야할까요? 제 PC에서도 가능할까요?

파이썬 프로그래밍과 크롤링 기초 이해만 가능하다면, 핵심 부분을 중심으로 실제 크롤링할만한 예제를 크롤링해가며, 바로 활용까지 가능토록 꾸몄습니다.

 

# 저는 파이썬 프로그래밍과 크롤링 기초 지식이 없는데 가능할까요?

파이썬 프로그래밍과 크롤링 기초는 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 수업을 통해 별도로 제공하며, 두 과목을 통해 파이썬과 크롤링을 몰랐던 분들도 바닥부터 따라오실 수 있도록, 윈도우/맥 각 환경에서의 프로그램 설치부터 웹에 대한 이해등 배경지식까지 모두 설명하였습니다.

 

# 크롤링 기술을 현업에서 활용할 정도의 수준으로 알 수 있을까요?

파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 과 본 강의를 통해 결국 현존하는 모든 크롤링 기술과 실제 활용을 위해 필요한 팁까지 모두 녹여냈습니다.

 

짧은 시간에 익히고, 활용할 수 있도록 남다른 핵심 요약 자료, 코드 자료를 모두 드립니다. 필요할 때 언제든 필요한 커리큘럼을 빠르게 듣고, 관련 자료로 빠르게 활용할 수 있는 형식으로 만들었습니다. 

 

시간을 낭비하지 마세요.! 수차례 시도 끝에 가장 학습 효과가 컸던 커리큘럼으로 구성했습니다.

수백만원의 수강료를 내고 문법만 전달하는 강의를 들으셨던 분들이 있었을까요? 수업을 들으며, 자연스럽게 반복하고, 머리에 쏙쏙 들어올 수 밖에 없는, 그리고 실제 사용이 가능하도록 패턴화까지 시켜서 그대로도 활용가능하고! 다양한 케이스에 맞도록 변경도 가능하고, 그리고 기본기도 제대로 쌓을 수 있도록. 그러면서도 문과분들까지 고려하고, 여기에 시간까지 고려한 커리큘럼. 온라인 강의에 대한 애착으로 고민고민 끝에 만들어낸 강의입니다.

 

데이터 과학, 빅테이터, 크롤링을
익히고자 하시는 분들을 위해!
- 짧은 시간안에 현존 최강 크롤링 기술 (Scrapy와 Selenium) 을
- 실전 크롤링 예제를 통해 빠르게 익힙니다.
 
Selenium으로 브라우저와 마우스를 조작해서 크롤링하기 (다음 뉴스 댓글 크롤링 예제)
파이썬, 크롤링의 기본기를 다지고, 이를 기반으로 업무 자동화까지도 활용해볼 수 있도록 꾸몄습니다.

수강 대상

  • 데이터 과학 기본기로 크롤링부터 제대로 익히고 싶은 분들
  • 크롤링 최신 기술을 익히고싶은 분들

선수 지식

  • 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 선수강 필요

지식공유자 소개

Dave Lee 강사 (잔재미코딩)

현: 이커머스 기업 빅데이터 개발 및 기술 기획
전: SK, 삼성전자, 외국계 기업, 고려대학교 일어일문 학사, 연세대학교 컴퓨터공학 석사
주요 개발 이력: 삼성페이, 이커머스 데이터 서비스, 모바일 보안 시스템(CAS), RTOS 컴파일러, Linux Kernel Driver, NAS Embedded System  
저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발,
누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서
운영 블로그: 잔재미코딩 (http://www.fun-coding.org) - 풀스택/데이터과학 기술 공유 블로그

교육과정

모두 펼치기 41 강의 8시간 46분
섹션 0. 강의 준비
7 강의 60 : 31
오리엔테이션과 강의 특징
05 : 09
강의 및 학습 방법 소개
11 : 05
파이썬과 크롤링 기본 강의 요약 정리
15 : 53
(참고) 수업준비를 위한 anaconda 와 쥬피터노트북 소개
06 : 01
(참고) 쥬피터 노트북 및 아나콘다 설치 (맥)
06 : 34
(참고) 쥬피터 노트북 및 아나콘다 설치 (윈도우)
05 : 46
(참고) 쥬피터 노트북 사용법 익히기
10 : 03
섹션 1. 브라우저 제어해서 크롤링하기
6 강의 93 : 09
브라우저를 제어해서 크롤링하기 - Selenium 이해 및 설치
15 : 05
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기1
15 : 11
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기2
17 : 32
브라우저를 제어해서 크롤링하기 - Headless Chrome 과 PhantomJS 익히기
18 : 14
실전 크롤링: 브라우저를 제어해서 다음 뉴스 기사 제목 가져오기
11 : 52
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기
15 : 15
섹션 2. 동적 웹페이지 크롤링하기
4 강의 56 : 23
동적 웹페이지 기술 이해
11 : 54
동적 웹페이지 크롤링 기법 익히기
13 : 46
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기1
19 : 55
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기2
10 : 48
섹션 3. 데이터를 선택하는 또다른 기법: XPATH
3 강의 37 : 23
XPATH 이해하기
15 : 52
실전 크롤링: XPATH와 Selenium 활용해서 페이지북 로그인 하기
11 : 46
실전 크롤링: XPATH와 Selenium 활용해서 seeko 기사 가져오기
09 : 45
섹션 4. 강력한 크롤링 기술: Scrapy
11 강의 155 : 13
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해1
14 : 45
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해2
15 : 29
강력/최신 크롤링 기술: Scrapy 이해하기
11 : 59
강력/최신 크롤링 기술: Scrapy 프로젝트 만들기
17 : 09
강력/최신 크롤링 기술: Scrapy 크롤러 만들기
15 : 46
강력/최신 크롤링 기술: Scrapy shell 사용법 익히기
14 : 56
강력/최신 크롤링 기술: Scrapy 로 css selector/xpath 사용하기
06 : 18
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1
13 : 41
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기2
15 : 49
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기1
15 : 27
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기2
13 : 54
섹션 5. 현업 스타일 Scrapy 실전 활용 (중급)
10 강의 123 : 58
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1
15 : 15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기2
10 : 12
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기3
13 : 36
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기4
08 : 15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기5
11 : 33
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기6
14 : 40
실전 크롤링: scrapy 크롤링 팁
08 : 18
실전 크롤링: scrapy로 네이버 오픈API 활용 크롤링1
12 : 33
실전 크롤링: scrapy로 네이버 오픈API 활용 크롤링2
16 : 20
빅데이터/데이터 과학, 풀스택을 위한 크롤링 활용 및 향후 학습 소개
13 : 16

공개 일자

2019년 7월 22일 (마지막 업데이트 일자 : 2019년 7월 23일)

수강 후기

5.0
9개의 수강평
Goods Ma 15일 전
붸리굳
잔재미코딩 프로필

잔재미코딩 14일 전
감사합니다. 수강평이 화끈하셔서, 기억에 남았는데, 제가 만든 다른 강좌에도 이렇게 남겨주셔서 다시 한번 감사드립니다.

뿌나다 1달 전
크롤링에 입문하기 좋습니다 이것을 듣고 크롤링을 잘 시작 할 수 있었습니다 :)
잔재미코딩 프로필

잔재미코딩 1달 전
이렇게 좋은 수강평을 써주셔서 정말 감사합니다.

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스