Node.js로 웹 크롤링하기
Node.js로 웹 크롤링하기
수강정보
(14개의 수강평)
302명의 수강생
25% 할인, D-4
41,250원
55,000원
지식공유자 : 조현영
75회 수업 · 총 13시간 36분 수업
기간 : 평생 무제한 시청
수료증 : 발급 강의
수강 난이도 : 중급이상

이 강의는

네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.

이런 걸 배워요

  • 이미지 크롤링
  • 웹사이트 크롤링
  • 아이프레임 크롤링

Node.js로 웹 크롤링하기

Node.js와 Puppeteer를 활용해 웹 사이트를 크롤링하여 원하는 정보를 가져오는 법을 배웁니다.
Puppeteer(또는 axios+cheerio)와 CSV, 엑셀, 데이터베이스를 연동하는 방법을 배웁니다.
네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.
Node.js 교과서 DLC격으로 Node.js 교과서 책이나 동영상 강좌를 선수강하면 더 쉽게 배울 수 있습니다.

제 강좌의 장점은 Q&A입니다. 질문하시면 하루 안에 답변드립니다. 단순히 강좌만 시청하는 것보다는 강좌 관련 내용을 자유롭게 질문하시면서 능동적으로 공부하시면 많은 도움이 됩니다. 강좌 내용에서 설명이 부족하거나 이해가 안 가는 부분이 있다면 언제든지 질문주세요. 다른 분들이 이미 했던 질문을 읽어보시는 것도 도움이 됩니다.

학습 목표

  • Node.js로 웹 크롤링을 할 수 있다.

도움이 되는 분들

  • Node.js로 웹 크롤러를 제작하시는 분
  • 웹 작업의 자동화를 목표로 하시는 분
  • 웹 E2E 테스트를 하려고 하시는 분

연관된 강좌

Node.js교과서 - 기본부터 프로젝트 실습까지
노드에 대한 핵심 개념을 익힌 후, 실전 예제를 통해 실무에 뛰어들 준비를 갖춥니다.

참고 사항

  • Node.js LTS 버전을 사용합니다.
  • 자바스크립트 기본 문법 알아야 합니다.
  • Node.js 교과서를 읽지 않았다면 https://thebook.io/006982/에서 8장까지 읽으면 좋습니다.
  • github.com/zerocho/nodejs-crawler에 소스 코드가 있습니다.
  • 크롤링하는 웹사이트의 태그가 변경되어 소스 코드가 동작하지 않을 수 있지만, 강좌에서 배운대로 소스 코드를 수정하면 됩니다.

도움 되는 분들

  • 웹 관련 업무 자동화를 하고 싶으신 분
  • 웹서비스를 크롤링해 데이터를 수집하고 싶으신 분

선수 지식

  • 자바스크립트, Node.js 지식

지식공유자 소개

– Node.js교과서 저자 
– ZeroCho.com 운영자
– 현재 유튜브에서 ZeroCho TV로 방송중 
– 스타트업 CTO
– 글로벌SW전담개발자

교육과정

모두 펼치기 75 강의 13시간 36분
섹션 0. 1. 웹 크롤링과 데이터 파싱
8 강의 81 : 05
1-1. 웹 크롤러 소개
10 : 51
1-2. csv-parse 패키지로 csv 파싱하기
12 : 33
1-3. xlsx 패키지로 엑셀 파싱하기
14 : 58
1-4. axios-cheerio로 첫 크롤링하기
13 : 12
1-5. Promise.all과 for of 문의 차이
05 : 57
1-6. 보너스: xlsx 패키지
10 : 55
1-7. 보너스: api와의 차이점, 자동화
06 : 44
1-8. 보너스: 엑셀에 쓰기
05 : 55
섹션 1. 2. puppeteer 사용하기
6 강의 67 : 48
2-1. puppeteer 시작하기
11 : 00
2-2. headless 옵션 이해하기
09 : 02
2-3. 첫 puppeteer 크롤링
09 : 51
2-4. csv에 출력하기
10 : 04
2-5. page.evaluate 사용하기
10 : 55
2-6. userAgent와 한 탭으로 크롤링
16 : 56
섹션 2. 3. axios와 cheerio로 이미지 다운로드
15 강의 158 : 57
3-1. 이미지 다운로드 준비하기
10 : 52
3-2. axios로 이미지 저장하기
09 : 00
3-3. 브라우저 사이즈 조절과 스크린샷
12 : 55
3-4. 보너스: querySelector과 CSS 선택자
11 : 15
3-5. 보너스: CSS 선택자 조합하기
10 : 25
(문법 강좌) const와 let
10 : 32
(문법 강좌) 템플릿 문자열(백틱, `)
07 : 25
(문법 강좌) 객체 리터럴의 변화
07 : 33
(문법 강좌) 화살표 함수
10 : 10
(문법 강좌) 비구조화 할당
14 : 21
(문법 강좌) rest 문법과 Q&A
08 : 48
(문법 강좌) 콜백과 프로미스
09 : 51
(문법 강좌) 프로미스(Promise) 이해하기
14 : 37
(문법 강좌) 프로미스(Promise) API
10 : 46
(문법 강좌) async/await
10 : 27
섹션 3. 4. 인피니트 스크롤링 크롤링
7 강의 76 : 23
4-1. 인피니트 스크롤링과 postman
09 : 33
4-2. 인피니트 스크롤 태그 분석하기
11 : 03
4-3. 스크롤 내리고 태그 기다리기
13 : 53
4-4. 스크롤 조작해서 크롤링하기
11 : 43
4-5. 크롤링 결과를 파일로 만들기
13 : 26
4-6. 보너스: 퍼펫티어 Q&A
11 : 44
4-7. 보너스: 태그 바뀌었을 때 대처법 & copy selector
05 : 01
섹션 4. 5. 페이스북 로그인&로그아웃
8 강의 76 : 20
5-1. 페이스북 로그인 태그 분석
11 : 22
5-2. dotenv로 비밀번호 관리하기
04 : 49
5-3. type, hover, click, keyboard
10 : 30
5-4. 페이스북 로그아웃
09 : 41
5-5. waitForResponse
08 : 42
5-6. 마우스 조작하기
14 : 20
5-7. focus와 대문자 입력하기
07 : 56
5-8. alert, confirm, prompt 대응하기
09 : 00
섹션 5. 6. 프록시로 서버 속이기
5 강의 54 : 32
6-1. 프록시 설명과 태그 분석
11 : 19
6-2. 프록시 ip 적용하기
12 : 34
6-3. 데이터베이스 연동하기
10 : 45
6-4. 크롤링 결과물 데이터베이스에 저장하기
07 : 40
6-5. 브라우저 여러 개 사용하기
12 : 14
섹션 6. 7. 실전 페이스북 크롤링
6 강의 80 : 24
7-1. 페이스북 크롤링 준비
07 : 53
7-2. 페이스북 태그 분석
15 : 24
7-3. 이미지 태그, 좋아요, 광고글 분석
15 : 49
7-4. 반복 작업 수행하기
08 : 37
7-5. 한 번 저장한 게시글 무시하기
15 : 04
7-6. 보너스: 페이스북 게시글 작성하기
17 : 37
섹션 7. 8. 실전 인스타그램 크롤링
7 강의 84 : 40
8-1. waitForNavigation
08 : 20
8-2. userDataDir로 로그인 유지하기
11 : 40
8-3. 인스타그램 태그 분석(virtualized list)
14 : 01
8-4. 더보기 버튼과 반복 크롤링
17 : 11
8-5. 인스타 하트 클릭과 DB 저장
15 : 25
8-6. 보너스: 인스타그램 검색하기
06 : 59
8-7. 보너스: 인스타그램 댓글 가져오기
11 : 04
섹션 8. 9. 실전 유튜브 크롤링
6 강의 62 : 16
9-1. 유튜브 크롤링 준비와 browserFetcher
11 : 27
9-2. waitUntil로 로딩 기다리기
10 : 06
9-3. 구글 로그인하기
07 : 17
9-4. 구글 로그인 유지하기
05 : 34
9-5. 유튜브 동영상 다운로드
16 : 58
9-6: 보너스: Q&A
10 : 54
섹션 9. 10. 페이지네이션과 아이프레임
7 강의 74 : 28
10-1. 페이지네이션 크롤링 준비
07 : 44
10-2. 아마존 크롤링
09 : 00
10-3. 깃허브 크롤링
12 : 07
10-4. 깃허브 페이지네이션
14 : 00
10-5. 트위터 로그인하기
05 : 44
10-6. 트위터 태그 분석하기
13 : 43
10-7. 트위터 아이프레임 컨텐츠 가져오기
12 : 10

공개 일자

2019년 3월 23일 (마지막 업데이트 일자 : 2019년 6월 24일)

수강 후기

4.8
14개의 수강평
default_profile.png
pjk280230@gmail.com 7달 전
좋은 강의였습니다
default_profile.png
JY C 11달 전
믿고 보는 제로초 강의, 조그만회사 대푠데, 내경험상 상산고 출신치고 안똑똑한 사람못봄
default_profile.png
이상혁 7달 전
질좋은 강의 잘 들었습니다^^
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스