현존 최강 크롤링 기술: Scrapy와 Selenium 정복

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

(13개의 수강평)

225명의 수강생

이런 걸 배울 수 있어요

  • Selenium/Headless Chrome/PhantomJS를 활용한 크롤링
  • 브라우저를 프로그래밍으로 제어해서 크롤링하기
  • Scrapy를 사용한 크롤링
  • 동적웹페이지 크롤링

온오프라인 5천명이상 수강! 완성도높은 강의로 짧은 시간에 최신 기술을 익히세요!

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 에서 익힌 기본 기술을 기반으로 강력한 크롤링 기술을 익히는 강의입니다. 

 

# 가장 빠르고, 가장 안정적인 크롤링 기술은?

Scrapy 프레임워크는 가장 빠르고, 가장 안정적인 크롤링 기술입니다. 추가로 Selenium, PhantomJS, Headless Chrome을 사용하면 로그인이 필요한 사이트와 같이 특별한 조작이 필요한 환경에서도 크롤링이 가능합니다.

 

# 어렵지 않나요? 어느정도 알아야할까요? 제 PC에서도 가능할까요?

파이썬 프로그래밍과 크롤링 기초 이해만 가능하다면, 핵심 부분을 중심으로 실제 크롤링할만한 예제를 크롤링해가며, 바로 활용까지 가능토록 꾸몄습니다.

 

# 저는 파이썬 프로그래밍과 크롤링 기초 지식이 없는데 가능할까요?

파이썬 프로그래밍과 크롤링 기초는 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 수업을 통해 별도로 제공하며, 두 과목을 통해 파이썬과 크롤링을 몰랐던 분들도 바닥부터 따라오실 수 있도록, 윈도우/맥 각 환경에서의 프로그램 설치부터 웹에 대한 이해등 배경지식까지 모두 설명하였습니다.

 

# 크롤링 기술을 현업에서 활용할 정도의 수준으로 알 수 있을까요?

파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 과 본 강의를 통해 결국 현존하는 모든 크롤링 기술과 실제 활용을 위해 필요한 팁까지 모두 녹여냈습니다.

 

짧은 시간에 익히고, 활용할 수 있도록 남다른 핵심 요약 자료, 코드 자료를 모두 드립니다. 필요할 때 언제든 필요한 커리큘럼을 빠르게 듣고, 관련 자료로 빠르게 활용할 수 있는 형식으로 만들었습니다. 

 

시간을 낭비하지 마세요.! 수차례 시도 끝에 가장 학습 효과가 컸던 커리큘럼으로 구성했습니다.

수백만원의 수강료를 내고 문법만 전달하는 강의를 들으셨던 분들이 있었을까요? 수업을 들으며, 자연스럽게 반복하고, 머리에 쏙쏙 들어올 수 밖에 없는, 그리고 실제 사용이 가능하도록 패턴화까지 시켜서 그대로도 활용가능하고! 다양한 케이스에 맞도록 변경도 가능하고, 그리고 기본기도 제대로 쌓을 수 있도록. 그러면서도 문과분들까지 고려하고, 여기에 시간까지 고려한 커리큘럼. 온라인 강의에 대한 애착으로 고민고민 끝에 만들어낸 강의입니다.

 

데이터 과학, 빅테이터, 크롤링을
익히고자 하시는 분들을 위해!
- 짧은 시간안에 현존 최강 크롤링 기술 (Scrapy와 Selenium) 을
- 실전 크롤링 예제를 통해 빠르게 익힙니다.
 
Selenium으로 브라우저와 마우스를 조작해서 크롤링하기 (다음 뉴스 댓글 크롤링 예제)
파이썬, 크롤링의 기본기를 다지고, 이를 기반으로 업무 자동화까지도 활용해볼 수 있도록 꾸몄습니다.

수강 대상

  • 데이터 과학 기본기로 크롤링부터 제대로 익히고 싶은 분들
  • 크롤링 최신 기술을 익히고싶은 분들

선수 지식

  • 파이썬 입문과 크롤링 기초 부트캠프 (온오프라인 5천명 이상 수강) 선수강 필요

지식공유자 소개

Dave Lee 강사 (잔재미코딩)

현: 이커머스 기업 빅데이터 개발 및 기술 기획
전: SK, 삼성전자, 외국계 기업, 고려대학교 일어일문 학사, 연세대학교 컴퓨터공학 석사
주요 개발 이력: 삼성페이, 이커머스 데이터 서비스, 모바일 보안 시스템(CAS), RTOS 컴파일러, Linux Kernel Driver, NAS Embedded System  
저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발,
누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서
운영 블로그: 잔재미코딩 (http://www.fun-coding.org) - 풀스택/데이터과학 기술 공유 블로그

교육과정

모두 펼치기 41 강의 8시간 46분
섹션 0. 강의 준비
7 강의 60 : 31
오리엔테이션과 강의 특징
05 : 09
강의 및 학습 방법 소개
11 : 05
파이썬과 크롤링 기본 강의 요약 정리
15 : 53
(참고) 수업준비를 위한 anaconda 와 쥬피터노트북 소개
06 : 01
(참고) 쥬피터 노트북 및 아나콘다 설치 (맥)
06 : 34
(참고) 쥬피터 노트북 및 아나콘다 설치 (윈도우)
05 : 46
(참고) 쥬피터 노트북 사용법 익히기
10 : 03
섹션 1. 브라우저 제어해서 크롤링하기
6 강의 93 : 09
브라우저를 제어해서 크롤링하기 - Selenium 이해 및 설치
15 : 05
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기1
15 : 11
브라우저를 제어해서 크롤링하기 - Selenium 기본 사용법 익히기2
17 : 32
브라우저를 제어해서 크롤링하기 - Headless Chrome 과 PhantomJS 익히기
18 : 14
실전 크롤링: 브라우저를 제어해서 다음 뉴스 기사 제목 가져오기
11 : 52
실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기
15 : 15
섹션 2. 동적 웹페이지 크롤링하기
4 강의 56 : 23
동적 웹페이지 기술 이해
11 : 54
동적 웹페이지 크롤링 기법 익히기
13 : 46
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기1
19 : 55
실전 크롤링: 댓글부대? 다음 뉴스 기사의 댓글 가져오기2
10 : 48
섹션 3. 데이터를 선택하는 또다른 기법: XPATH
3 강의 37 : 23
XPATH 이해하기
15 : 52
실전 크롤링: XPATH와 Selenium 활용해서 페이지북 로그인 하기
11 : 46
실전 크롤링: XPATH와 Selenium 활용해서 seeko 기사 가져오기
09 : 45
섹션 4. 강력한 크롤링 기술: Scrapy
11 강의 155 : 13
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해1
14 : 45
Scrapy를 위한 기본 지식: 객체 지향 프로그래밍 이해2
15 : 29
강력/최신 크롤링 기술: Scrapy 이해하기
11 : 59
강력/최신 크롤링 기술: Scrapy 프로젝트 만들기
17 : 09
강력/최신 크롤링 기술: Scrapy 크롤러 만들기
15 : 46
강력/최신 크롤링 기술: Scrapy shell 사용법 익히기
14 : 56
강력/최신 크롤링 기술: Scrapy 로 css selector/xpath 사용하기
06 : 18
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1
13 : 41
강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기2
15 : 49
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기1
15 : 27
강력/최신 크롤링 기술: scrapy pipeline 사용법 익히기2
13 : 54
섹션 5. 현업 스타일 Scrapy 실전 활용 (중급)
10 강의 123 : 58
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1
15 : 15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기2
10 : 12
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기3
13 : 36
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기4
08 : 15
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기5
11 : 33
실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기6
14 : 40
실전 크롤링: scrapy 크롤링 팁
08 : 18
실전 크롤링: scrapy로 네이버 오픈API 활용 크롤링1
12 : 33
실전 크롤링: scrapy로 네이버 오픈API 활용 크롤링2
16 : 20
빅데이터/데이터 과학, 풀스택을 위한 크롤링 활용 및 향후 학습 소개
13 : 16

공개 일자

2019년 7월 23일 (마지막 업데이트 일자 : 2019년 7월 23일)

수강 후기

5.0
13개의 수강평
thumbnail_default.png
kwansoon.kr 3일 전
제 생각에는 크롤링 기초 강좌 중에서는 최고인 것 같습니다. 논문 떄문에 급하게 기술을 습득했어야 했는데 생각보다 쉽지 않았습니다. 다른 (해외)강의도 들어보고 책도 봤는데.... 이 강좌 2번 딱 들으니깐 이제 필요한 데이터는 수집이 가능합니다! 감사합니다! 화이팅 하십시요! 강사님~
thumbnail_default.png
hs moon 5달 전
크롤링, 스크래피 라는 프레임웍을 입문하기에는 최고 입니다. 대부분의 크롤링 강좌는 BeautifulSoup 으로 되어있는데 몇안되는 스크래피 강좌중 하나 입니다. 2배속으로 들으시면 학원 친절한 형같은 느낌 입니다. 현재 스크래피 과정부터 보고있는데요, 코딩을 라이브로 진행하시면서 그때그때 필요한 팁이나 개념을 알려주시는 문제점들을 좌충우돌 해결해 나가는 실습지향형 강좌인것 같습니다. 그런데 잔소리(ㅡㅡ?)가좀 많으십니다 보통 아이티 에서는~ 라는 말로 시작하시는 말씀들이 많으신데, 독자들이 혹시라도 모르실까봐 노파심에서 하시는 말씀들의 비중이 꽤 높습니다. (예: 터미널에서 화살표 위아래로 누르기 파이썬 클래스 상속등...컴퓨터 코드 꽃는법, 들고 날르는 법도 설명하실줄알았습니다) 기본 파이썬 강좌에서는 그래도 좋을것 같은데 프레임웍 강의라면 기본 전산상식이나 개발 지식은 있다고 가정하고 진행하는게 맞는것 같습니다. 그러면 좀더 프레임워크에 대해 설명할 분량이나 질이 향상될것 같으니까요. 스크래피 고급 과정도 만들어 주셨으면 합니다 ^^
잔재미코딩

잔재미코딩 5달 전
안녕하세요. ㅎㅎ 수강평보고 빵 터졌습니다. 프레임워크이긴한데 첨에 이야기드렸듯이 IT는 워낙 각자 알고 있는 부분은 다 다른데, 진도를 나가려면 여러지식을 기본적으로 알고는 있어야해서, 이미 알고있는 부분이라도 혹시나 모르는 분들을 위해 양해를 부탁드렸어요. 그래야 가능한 모든 수강생분들이 따라오실수 있어서요. 자신이 알고있는부분은 2배속으로, 혹시라도 몰랐던 부분은 1배속으로 양해를 부탁드리구요. 그래도 내용이나 크롤링 수준이 낮은 수준은 아니라서 아마도 님께서는 이미 레벨이 좀더 높으셔서 어렵지 않으셨을듯도 합니다. 쉽게 풀스택과 데이터과학 관련 기술강의를 쭉 오픈한 후에 각 과정당 더 고급 강의도 만들겠습니다. 어쨌든 칭찬해주신부분 감사합니다

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스