Thumbnail
BEST
데이터 사이언스 데이터 분석

Node.js로 웹 크롤링하기 대시보드

(4.8)
32개의 수강평 ∙  842명의 수강생

55,000원

지식공유자: 조현영
총 75개 수업 (13시간 36분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

중급자를 위해 준비한
[데이터 분석, 웹 개발] 강의입니다.

네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.

✍️
이런 걸
배워요!
이미지 크롤링
웹사이트 크롤링
아이프레임 크롤링

Node.js로 웹 크롤링하기

Node.js와 Puppeteer를 활용해 웹 사이트를 크롤링하여 원하는 정보를 가져오는 법을 배웁니다.
Puppeteer(또는 axios+cheerio)와 CSV, 엑셀, 데이터베이스를 연동하는 방법을 배웁니다.
네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.
Node.js 교과서 DLC격으로 Node.js 교과서 책이나 동영상 강좌를 선수강하면 더 쉽게 배울 수 있습니다.

제 강좌의 장점은 Q&A입니다. 질문하시면 하루 안에 답변드립니다. 단순히 강좌만 시청하는 것보다는 강좌 관련 내용을 자유롭게 질문하시면서 능동적으로 공부하시면 많은 도움이 됩니다. 강좌 내용에서 설명이 부족하거나 이해가 안 가는 부분이 있다면 언제든지 질문주세요. 다른 분들이 이미 했던 질문을 읽어보시는 것도 도움이 됩니다.

학습 목표

  • Node.js로 웹 크롤링을 할 수 있다.

도움이 되는 분들

  • Node.js로 웹 크롤러를 제작하시는 분
  • 웹 작업의 자동화를 목표로 하시는 분
  • 웹 E2E 테스트를 하려고 하시는 분

연관된 강좌

Node.js교과서 - 기본부터 프로젝트 실습까지
노드에 대한 핵심 개념을 익힌 후, 실전 예제를 통해 실무에 뛰어들 준비를 갖춥니다.

참고 사항

  • Node.js LTS 버전을 사용합니다.
  • 자바스크립트 기본 문법 알아야 합니다.
  • Node.js 교과서를 읽지 않았다면 https://thebook.io/006982/에서 8장까지 읽으면 좋습니다.
  • github.com/zerocho/nodejs-crawler에 소스 코드가 있습니다.
  • 크롤링하는 웹사이트의 태그가 변경되어 소스 코드가 동작하지 않을 수 있지만, 강좌에서 배운대로 소스 코드를 수정하면 됩니다.

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
웹 관련 업무 자동화를 하고 싶으신 분
웹서비스를 크롤링해 데이터를 수집하고 싶으신 분
📚
선수 지식,
필요할까요?
자바스크립트, Node.js 지식

안녕하세요
조현영 입니다.
조현영의 썸네일

제 강의의 장점은 Q&A입니다. 24시간 이내에 무조건 답변드립니다! 다만 여러분들도 질문을 잘 해주셔야 합니다.

https://www.zerocho.com/lecture

제로초 강의 전체 로드맵

 

– Node.js교과서, 코딩자율학습 제로초의 자바스크립트, Let's Get IT 자바스크립트, 타입스크립트 교과서 저자 
– ZeroCho.com 운영자
– 현재 유튜브에서 ZeroCho TV로 개발 관련 방송중 
– 오늘의픽업 CTO(카카오모빌리티에 엑싯 후 카카오모빌리티 개발파트장)
- 스모어톡 CTO

커리큘럼 총 75 개 ˙ 13시간 36분의 수업
이 강의는 영상이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 1. 웹 크롤링과 데이터 파싱
1-1. 웹 크롤러 소개 미리보기 10:51
1-2. csv-parse 패키지로 csv 파싱하기 12:33
1-3. xlsx 패키지로 엑셀 파싱하기 14:58
1-4. axios-cheerio로 첫 크롤링하기 13:12
1-5. Promise.all과 for of 문의 차이 05:57
1-6. 보너스: xlsx 패키지 10:55
1-7. 보너스: api와의 차이점, 자동화 06:44
1-8. 보너스: 엑셀에 쓰기 05:55
섹션 1. 2. puppeteer 사용하기
2-1. puppeteer 시작하기 미리보기 11:00
2-2. headless 옵션 이해하기 09:02
2-3. 첫 puppeteer 크롤링 09:51
2-4. csv에 출력하기 10:04
2-5. page.evaluate 사용하기 10:55
2-6. userAgent와 한 탭으로 크롤링 16:56
섹션 2. 3. axios와 cheerio로 이미지 다운로드
3-1. 이미지 다운로드 준비하기 10:52
3-2. axios로 이미지 저장하기 09:00
3-3. 브라우저 사이즈 조절과 스크린샷 12:55
3-4. 보너스: querySelector과 CSS 선택자 11:15
3-5. 보너스: CSS 선택자 조합하기 10:25
(문법 강좌) const와 let 미리보기 10:32
(문법 강좌) 템플릿 문자열(백틱, `) 07:25
(문법 강좌) 객체 리터럴의 변화 07:33
(문법 강좌) 화살표 함수 10:10
(문법 강좌) 비구조화 할당 14:21
(문법 강좌) rest 문법과 Q&A 08:48
(문법 강좌) 콜백과 프로미스 09:51
(문법 강좌) 프로미스(Promise) 이해하기 14:37
(문법 강좌) 프로미스(Promise) API 10:46
(문법 강좌) async/await 10:27
섹션 3. 4. 인피니트 스크롤링 크롤링
4-1. 인피니트 스크롤링과 postman 09:33
4-2. 인피니트 스크롤 태그 분석하기 11:03
4-3. 스크롤 내리고 태그 기다리기 13:53
4-4. 스크롤 조작해서 크롤링하기 11:43
4-5. 크롤링 결과를 파일로 만들기 13:26
4-6. 보너스: 퍼펫티어 Q&A 11:44
4-7. 보너스: 태그 바뀌었을 때 대처법 & copy selector 05:01
섹션 4. 5. 페이스북 로그인&로그아웃
5-1. 페이스북 로그인 태그 분석 11:22
5-2. dotenv로 비밀번호 관리하기 04:49
5-3. type, hover, click, keyboard 10:30
5-4. 페이스북 로그아웃 09:41
5-5. waitForResponse 08:42
5-6. 마우스 조작하기 14:20
5-7. focus와 대문자 입력하기 07:56
5-8. alert, confirm, prompt 대응하기 09:00
섹션 5. 6. 프록시로 서버 속이기
6-1. 프록시 설명과 태그 분석 11:19
6-2. 프록시 ip 적용하기 12:34
6-3. 데이터베이스 연동하기 10:45
6-4. 크롤링 결과물 데이터베이스에 저장하기 07:40
6-5. 브라우저 여러 개 사용하기 12:14
섹션 6. 7. 실전 페이스북 크롤링
7-1. 페이스북 크롤링 준비 미리보기 07:53
7-2. 페이스북 태그 분석 15:24
7-3. 이미지 태그, 좋아요, 광고글 분석 15:49
7-4. 반복 작업 수행하기 08:37
7-5. 한 번 저장한 게시글 무시하기 15:04
7-6. 보너스: 페이스북 게시글 작성하기 17:37
섹션 7. 8. 실전 인스타그램 크롤링
8-1. waitForNavigation 08:20
8-2. userDataDir로 로그인 유지하기 11:40
8-3. 인스타그램 태그 분석(virtualized list) 14:01
8-4. 더보기 버튼과 반복 크롤링 17:11
8-5. 인스타 하트 클릭과 DB 저장 15:25
8-6. 보너스: 인스타그램 검색하기 06:59
8-7. 보너스: 인스타그램 댓글 가져오기 11:04
섹션 8. 9. 실전 유튜브 크롤링
9-1. 유튜브 크롤링 준비와 browserFetcher 11:27
9-2. waitUntil로 로딩 기다리기 10:06
9-3. 구글 로그인하기 07:17
9-4. 구글 로그인 유지하기 05:34
9-5. 유튜브 동영상 다운로드 16:58
9-6: 보너스: Q&A 10:54
섹션 9. 10. 페이지네이션과 아이프레임
10-1. 페이지네이션 크롤링 준비 07:44
10-2. 아마존 크롤링 09:00
10-3. 깃허브 크롤링 12:07
10-4. 깃허브 페이지네이션 14:00
10-5. 트위터 로그인하기 05:44
10-6. 트위터 태그 분석하기 13:43
10-7. 트위터 아이프레임 컨텐츠 가져오기 12:10
강의 게시일 : 2019년 03월 23일 (마지막 업데이트일 : 2019년 06월 24일)
수강평 총 32개
수강생분들이 직접 작성하신 수강평입니다.
4.8
32개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
도전적인 불가사리 thumbnail
5
좋은 강의였습니다
2020-01-31
이상혁 thumbnail
5
질좋은 강의 잘 들었습니다^^
2020-02-26
김형 thumbnail
5
책으로 나오지 않았던 찾기 힘든 귀한 강의를 영상으로 체계적으로 잡아주셨습니다. 역시 노드의 교과서 다운 체계적인 학습이였습니다.
2023-01-08
냠냠굿 thumbnail
5
믿고 보는 제로초 강의, 조그만회사 대푠데, 내경험상 상산고 출신치고 안똑똑한 사람못봄
2019-10-18
tttkhs thumbnail
5
믿고 봤는데 정말 수강료 아깝지 않습니다
2020-01-17
연관 로드맵
이 강의가 포함된 잘 짜여진 로드맵을 따라 학습해 보세요!