BEST

데이터 사이언스 데이터 수집 · 처리

Node.js로 웹 크롤링하기 대시보드

(4.8) 31개의 수강평 ∙ 797명의 수강생

조현영

JavaScript Node.js 웹 크롤링 Puppeteer

55,000원

지식공유자: 조현영

총 75개 수업 (13시간 36분)

수강기한: 무제한

수료증: 발급

난이도: --

지식공유자 답변이 제공되는 강의입니다

폴더에 추가 1.4K

중급자를 위해 준비한
[웹 개발, 데이터 수집 · 처리] 강의입니다.

네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.

✍️
이런 걸
배워요!

이미지 크롤링

웹사이트 크롤링

아이프레임 크롤링

Node.js로 웹 크롤링하기

Node.js와 Puppeteer를 활용해 웹 사이트를 크롤링하여 원하는 정보를 가져오는 법을 배웁니다.

Puppeteer(또는 axios+cheerio)와 CSV, 엑셀, 데이터베이스를 연동하는 방법을 배웁니다.

네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.

Node.js 교과서 DLC격으로 Node.js 교과서 책이나 동영상 강좌를 선수강하면 더 쉽게 배울 수 있습니다.

제 강좌의 장점은 Q&A입니다. 질문하시면 하루 안에 답변드립니다. 단순히 강좌만 시청하는 것보다는 강좌 관련 내용을 자유롭게 질문하시면서 능동적으로 공부하시면 많은 도움이 됩니다. 강좌 내용에서 설명이 부족하거나 이해가 안 가는 부분이 있다면 언제든지 질문주세요. 다른 분들이 이미 했던 질문을 읽어보시는 것도 도움이 됩니다.

학습 목표

Node.js로 웹 크롤링을 할 수 있다.

도움이 되는 분들

Node.js로 웹 크롤러를 제작하시는 분
웹 작업의 자동화를 목표로 하시는 분
웹 E2E 테스트를 하려고 하시는 분

연관된 강좌

Node.js교과서 - 기본부터 프로젝트 실습까지
노드에 대한 핵심 개념을 익힌 후, 실전 예제를 통해 실무에 뛰어들 준비를 갖춥니다.

참고 사항

Node.js LTS 버전을 사용합니다.
자바스크립트 기본 문법 알아야 합니다.
Node.js 교과서를 읽지 않았다면 https://thebook.io/006982/에서 8장까지 읽으면 좋습니다.
github.com/zerocho/nodejs-crawler에 소스 코드가 있습니다.
크롤링하는 웹사이트의 태그가 변경되어 소스 코드가 동작하지 않을 수 있지만, 강좌에서 배운대로 소스 코드를 수정하면 됩니다.

🎓
학습 대상은
누구일까요?

웹 관련 업무 자동화를 하고 싶으신 분

웹서비스를 크롤링해 데이터를 수집하고 싶으신 분

📚
선수 지식,
필요할까요?

자바스크립트, Node.js 지식

https://www.zerocho.com/lecture

제로초 강의 전체 로드맵

– Node.js교과서, Let's Get IT 자바스크립트, 타입스크립트 교과서 저자
– ZeroCho.com 운영자
– 현재 유튜브에서 ZeroCho TV로 개발 관련 방송중
– 오늘의픽업 CTO(카카오모빌리티에 엑싯 후 카카오모빌리티 개발파트장)
- 스모어톡 CTO

이 강의는 영상이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.

섹션 0. 1. 웹 크롤링과 데이터 파싱 8 강 ∙ 1시간 21분

1-1. 웹 크롤러 소개 미리보기 10:51

1-2. csv-parse 패키지로 csv 파싱하기 12:33

1-3. xlsx 패키지로 엑셀 파싱하기 14:58

1-4. axios-cheerio로 첫 크롤링하기 13:12

1-5. Promise.all과 for of 문의 차이 05:57

1-6. 보너스: xlsx 패키지 10:55

1-7. 보너스: api와의 차이점, 자동화 06:44

1-8. 보너스: 엑셀에 쓰기 05:55

섹션 1. 2. puppeteer 사용하기 6 강 ∙ 1시간 7분

2-1. puppeteer 시작하기 미리보기 11:00

2-2. headless 옵션 이해하기 09:02

2-3. 첫 puppeteer 크롤링 09:51

2-4. csv에 출력하기 10:04

2-5. page.evaluate 사용하기 10:55

2-6. userAgent와 한 탭으로 크롤링 16:56

섹션 2. 3. axios와 cheerio로 이미지 다운로드 15 강 ∙ 2시간 38분

3-1. 이미지 다운로드 준비하기 10:52

3-2. axios로 이미지 저장하기 09:00

3-3. 브라우저 사이즈 조절과 스크린샷 12:55

3-4. 보너스: querySelector과 CSS 선택자 11:15

3-5. 보너스: CSS 선택자 조합하기 10:25

(문법 강좌) const와 let 미리보기 10:32

(문법 강좌) 템플릿 문자열(백틱, `) 07:25

(문법 강좌) 객체 리터럴의 변화 07:33

(문법 강좌) 화살표 함수 10:10

(문법 강좌) 비구조화 할당 14:21

(문법 강좌) rest 문법과 Q&A 08:48

(문법 강좌) 콜백과 프로미스 09:51

(문법 강좌) 프로미스(Promise) 이해하기 14:37

(문법 강좌) 프로미스(Promise) API 10:46

(문법 강좌) async/await 10:27

섹션 3. 4. 인피니트 스크롤링 크롤링 7 강 ∙ 1시간 16분

4-1. 인피니트 스크롤링과 postman 09:33

4-2. 인피니트 스크롤 태그 분석하기 11:03

4-3. 스크롤 내리고 태그 기다리기 13:53

4-4. 스크롤 조작해서 크롤링하기 11:43

4-5. 크롤링 결과를 파일로 만들기 13:26

4-6. 보너스: 퍼펫티어 Q&A 11:44

4-7. 보너스: 태그 바뀌었을 때 대처법 & copy selector 05:01

섹션 4. 5. 페이스북 로그인&로그아웃 8 강 ∙ 1시간 16분

5-1. 페이스북 로그인 태그 분석 11:22

5-2. dotenv로 비밀번호 관리하기 04:49

5-3. type, hover, click, keyboard 10:30

5-4. 페이스북 로그아웃 09:41

5-5. waitForResponse 08:42

5-6. 마우스 조작하기 14:20

5-7. focus와 대문자 입력하기 07:56

5-8. alert, confirm, prompt 대응하기 09:00

섹션 5. 6. 프록시로 서버 속이기 5 강 ∙ 54분

6-1. 프록시 설명과 태그 분석 11:19

6-2. 프록시 ip 적용하기 12:34

6-3. 데이터베이스 연동하기 10:45

6-4. 크롤링 결과물 데이터베이스에 저장하기 07:40

6-5. 브라우저 여러 개 사용하기 12:14

섹션 6. 7. 실전 페이스북 크롤링 6 강 ∙ 1시간 20분

7-1. 페이스북 크롤링 준비 미리보기 07:53

7-2. 페이스북 태그 분석 15:24

7-3. 이미지 태그, 좋아요, 광고글 분석 15:49

7-4. 반복 작업 수행하기 08:37

7-5. 한 번 저장한 게시글 무시하기 15:04

7-6. 보너스: 페이스북 게시글 작성하기 17:37

섹션 7. 8. 실전 인스타그램 크롤링 7 강 ∙ 1시간 24분

8-1. waitForNavigation 08:20

8-2. userDataDir로 로그인 유지하기 11:40

8-3. 인스타그램 태그 분석(virtualized list) 14:01

8-4. 더보기 버튼과 반복 크롤링 17:11

8-5. 인스타 하트 클릭과 DB 저장 15:25

8-6. 보너스: 인스타그램 검색하기 06:59

8-7. 보너스: 인스타그램 댓글 가져오기 11:04

섹션 8. 9. 실전 유튜브 크롤링 6 강 ∙ 1시간 2분

9-1. 유튜브 크롤링 준비와 browserFetcher 11:27

9-2. waitUntil로 로딩 기다리기 10:06

9-3. 구글 로그인하기 07:17

9-4. 구글 로그인 유지하기 05:34

9-5. 유튜브 동영상 다운로드 16:58

9-6: 보너스: Q&A 10:54

섹션 9. 10. 페이지네이션과 아이프레임 7 강 ∙ 1시간 14분

10-1. 페이지네이션 크롤링 준비 07:44

10-2. 아마존 크롤링 09:00

10-3. 깃허브 크롤링 12:07

10-4. 깃허브 페이지네이션 14:00

10-5. 트위터 로그인하기 05:44

10-6. 트위터 태그 분석하기 13:43

10-7. 트위터 아이프레임 컨텐츠 가져오기 12:10

강의 게시일 : 2019년 03월 23일 (마지막 업데이트일 : 2019년 06월 24일)

수강생분들이 직접 작성하신 수강평입니다.

4.8

31개의 수강평

5점

4점

3점

2점

1점

VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순

책으로 나오지 않았던 찾기 힘든 귀한 강의를 영상으로 체계적으로 잡아주셨습니다. 역시 노드의 교과서 다운 체계적인 학습이였습니다.

2023-01-08

좋은 강의였습니다

2020-01-31

믿고 보는 제로초 강의, 조그만회사 대푠데, 내경험상 상산고 출신치고 안똑똑한 사람못봄

2019-10-18

질좋은 강의 잘 들었습니다^^

2020-02-26

믿고 봤는데 정말 수강료 아깝지 않습니다

2020-01-17

Javascript 풀스택 로드맵 (+ 트위터 클론앱 만들기 🐦)

By 인프런