Thumbnail
BEST 개발 · 프로그래밍 웹 개발
Node.js로 웹 크롤링하기
(4.8)
23개의 수강평 ∙ 476명의 수강생

55,000원

지식공유자 : 조현영
총 75개 수업˙총 13시간 36분
평생 무제한 수강
수료증 발급 강의
입문 초급 중급이상 대상
내 목록 추가 658 공유
중급자를 위해 준비한
[웹 개발, 데이터 분석] 강의입니다.

네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.

✍️
이런 걸
배워요!
이미지 크롤링
웹사이트 크롤링
아이프레임 크롤링

Node.js로 웹 크롤링하기

Node.js와 Puppeteer를 활용해 웹 사이트를 크롤링하여 원하는 정보를 가져오는 법을 배웁니다.
Puppeteer(또는 axios+cheerio)와 CSV, 엑셀, 데이터베이스를 연동하는 방법을 배웁니다.
네이버, 아마존, 트위터, 유튜브, 페이스북, 인스타그램, unsplash.com 등의 사이트를 크롤링하며 실전에 적용해봅니다.
Node.js 교과서 DLC격으로 Node.js 교과서 책이나 동영상 강좌를 선수강하면 더 쉽게 배울 수 있습니다.

제 강좌의 장점은 Q&A입니다. 질문하시면 하루 안에 답변드립니다. 단순히 강좌만 시청하는 것보다는 강좌 관련 내용을 자유롭게 질문하시면서 능동적으로 공부하시면 많은 도움이 됩니다. 강좌 내용에서 설명이 부족하거나 이해가 안 가는 부분이 있다면 언제든지 질문주세요. 다른 분들이 이미 했던 질문을 읽어보시는 것도 도움이 됩니다.

학습 목표

  • Node.js로 웹 크롤링을 할 수 있다.

도움이 되는 분들

  • Node.js로 웹 크롤러를 제작하시는 분
  • 웹 작업의 자동화를 목표로 하시는 분
  • 웹 E2E 테스트를 하려고 하시는 분

연관된 강좌

Node.js교과서 - 기본부터 프로젝트 실습까지
노드에 대한 핵심 개념을 익힌 후, 실전 예제를 통해 실무에 뛰어들 준비를 갖춥니다.

참고 사항

  • Node.js LTS 버전을 사용합니다.
  • 자바스크립트 기본 문법 알아야 합니다.
  • Node.js 교과서를 읽지 않았다면 https://thebook.io/006982/에서 8장까지 읽으면 좋습니다.
  • github.com/zerocho/nodejs-crawler에 소스 코드가 있습니다.
  • 크롤링하는 웹사이트의 태그가 변경되어 소스 코드가 동작하지 않을 수 있지만, 강좌에서 배운대로 소스 코드를 수정하면 됩니다.
지식공유자가 알려주는
강의 수강 꿀팁!
🎓
이런 분들께
추천드려요!
웹 관련 업무 자동화를 하고 싶으신 분
웹서비스를 크롤링해 데이터를 수집하고 싶으신 분
📚
선수 지식,
필요한가요?
자바스크립트, Node.js 지식

안녕하세요
조현영 입니다.
조현영의 썸네일
– Node.js교과서 저자 
– ZeroCho.com 운영자
– 현재 유튜브에서 ZeroCho TV로 방송중 
– 스타트업 CTO
커리큘럼 총 75 개 ˙ 13시간 36분의 수업
이 강의는 영상이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 1. 웹 크롤링과 데이터 파싱
1-1. 웹 크롤러 소개 미리보기 10:51
1-2. csv-parse 패키지로 csv 파싱하기 12:33
1-3. xlsx 패키지로 엑셀 파싱하기 14:58
1-4. axios-cheerio로 첫 크롤링하기 13:12
1-5. Promise.all과 for of 문의 차이 05:57
1-6. 보너스: xlsx 패키지 10:55
1-7. 보너스: api와의 차이점, 자동화 06:44
1-8. 보너스: 엑셀에 쓰기 05:55
섹션 1. 2. puppeteer 사용하기
2-1. puppeteer 시작하기 미리보기 11:00
2-2. headless 옵션 이해하기 09:02
2-3. 첫 puppeteer 크롤링 09:51
2-4. csv에 출력하기 10:04
2-5. page.evaluate 사용하기 10:55
2-6. userAgent와 한 탭으로 크롤링 16:56
섹션 2. 3. axios와 cheerio로 이미지 다운로드
3-1. 이미지 다운로드 준비하기 10:52
3-2. axios로 이미지 저장하기 09:00
3-3. 브라우저 사이즈 조절과 스크린샷 12:55
3-4. 보너스: querySelector과 CSS 선택자 11:15
3-5. 보너스: CSS 선택자 조합하기 10:25
(문법 강좌) const와 let 미리보기 10:32
(문법 강좌) 템플릿 문자열(백틱, `) 07:25
(문법 강좌) 객체 리터럴의 변화 07:33
(문법 강좌) 화살표 함수 10:10
(문법 강좌) 비구조화 할당 14:21
(문법 강좌) rest 문법과 Q&A 08:48
(문법 강좌) 콜백과 프로미스 09:51
(문법 강좌) 프로미스(Promise) 이해하기 14:37
(문법 강좌) 프로미스(Promise) API 10:46
(문법 강좌) async/await 10:27
섹션 3. 4. 인피니트 스크롤링 크롤링
4-1. 인피니트 스크롤링과 postman 09:33
4-2. 인피니트 스크롤 태그 분석하기 11:03
4-3. 스크롤 내리고 태그 기다리기 13:53
4-4. 스크롤 조작해서 크롤링하기 11:43
4-5. 크롤링 결과를 파일로 만들기 13:26
4-6. 보너스: 퍼펫티어 Q&A 11:44
4-7. 보너스: 태그 바뀌었을 때 대처법 & copy selector 05:01
섹션 4. 5. 페이스북 로그인&로그아웃
5-1. 페이스북 로그인 태그 분석 11:22
5-2. dotenv로 비밀번호 관리하기 04:49
5-3. type, hover, click, keyboard 10:30
5-4. 페이스북 로그아웃 09:41
5-5. waitForResponse 08:42
5-6. 마우스 조작하기 14:20
5-7. focus와 대문자 입력하기 07:56
5-8. alert, confirm, prompt 대응하기 09:00
섹션 5. 6. 프록시로 서버 속이기
6-1. 프록시 설명과 태그 분석 11:19
6-2. 프록시 ip 적용하기 12:34
6-3. 데이터베이스 연동하기 10:45
6-4. 크롤링 결과물 데이터베이스에 저장하기 07:40
6-5. 브라우저 여러 개 사용하기 12:14
섹션 6. 7. 실전 페이스북 크롤링
7-1. 페이스북 크롤링 준비 미리보기 07:53
7-2. 페이스북 태그 분석 15:24
7-3. 이미지 태그, 좋아요, 광고글 분석 15:49
7-4. 반복 작업 수행하기 08:37
7-5. 한 번 저장한 게시글 무시하기 15:04
7-6. 보너스: 페이스북 게시글 작성하기 17:37
섹션 7. 8. 실전 인스타그램 크롤링
8-1. waitForNavigation 08:20
8-2. userDataDir로 로그인 유지하기 11:40
8-3. 인스타그램 태그 분석(virtualized list) 14:01
8-4. 더보기 버튼과 반복 크롤링 17:11
8-5. 인스타 하트 클릭과 DB 저장 15:25
8-6. 보너스: 인스타그램 검색하기 06:59
8-7. 보너스: 인스타그램 댓글 가져오기 11:04
섹션 8. 9. 실전 유튜브 크롤링
9-1. 유튜브 크롤링 준비와 browserFetcher 11:27
9-2. waitUntil로 로딩 기다리기 10:06
9-3. 구글 로그인하기 07:17
9-4. 구글 로그인 유지하기 05:34
9-5. 유튜브 동영상 다운로드 16:58
9-6: 보너스: Q&A 10:54
섹션 9. 10. 페이지네이션과 아이프레임
10-1. 페이지네이션 크롤링 준비 07:44
10-2. 아마존 크롤링 09:00
10-3. 깃허브 크롤링 12:07
10-4. 깃허브 페이지네이션 14:00
10-5. 트위터 로그인하기 05:44
10-6. 트위터 태그 분석하기 13:43
10-7. 트위터 아이프레임 컨텐츠 가져오기 12:10
강의 게시일 : 2019년 03월 23일 (마지막 업데이트일 : 2019년 06월 24일)
수강평 총 23개
수강생분들이 직접 작성하신 수강평입니다. 수강평을 작성 시 300잎이 적립됩니다.
4.8
23개의 수강평
5점
4점
3점
2점
1점
VIEW 좋아요 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
JY C thumbnail
믿고 보는 제로초 강의, 조그만회사 대푠데, 내경험상 상산고 출신치고 안똑똑한 사람못봄
2019-10-18
tttkhs thumbnail
믿고 봤는데 정말 수강료 아깝지 않습니다
2020-01-17
이상혁 thumbnail
질좋은 강의 잘 들었습니다^^
2020-02-26
pjk280230@gmail.com thumbnail
좋은 강의였습니다
2020-01-31
신형준 thumbnail
문제해결에 조력자로서 함께 해주셔서 정말 감동이고 감사했습니다. 덕분에 댓글수집 프로젝트를 성공적으로 마무리했습니다. # 이 강의의 장점 1) 모든 질문에 성실히 답변해주십니다. 2) 실무에 바로 적용할 수 있는 내용들입니다. 3) 페이스북, 인스타그램과 같은 실제 많이 쓰이는 서비스들을 예시로 함께 만들어 볼 수 있어서 정말 좋습니다.
2019-12-03

55,000원

내 목록 추가 658 공유
지식공유자 : 조현영
총 75개 수업˙총 13시간 36분
평생 무제한 수강
수료증 발급 강의
입문 초급 중급이상 대상
연관 로드맵
이 강의가 포함된 잘 짜여진 로드맵을 따라 학습해 보세요!
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의를
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스