Thumbnail
BEST
데이터 사이언스 데이터 엔지니어링

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome] 대시보드

(4.7)
45개의 수강평 ∙  866명의 수강생
공개되지 않은 강의로
수강이 제한됩니다.
지식공유자: 잔재미코딩 DaveLee
총 38개 수업 (8시간 51분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변: 미제공

초급자를 위해 준비한
[데이터 엔지니어링, 업무 자동화] 강의입니다.

데이터 과학, 빅데이터, 크롤링을 익히고자 하시는 분들을 위해 - 현존하는 최신, 최고의 크롤링 기술을 다양한 예제로 빠르게 익힐 수 있도록 꾸몄습니다.

✍️
이런 걸
배워요!
파이썬 크롤링 중급 기술
Scrapy 크롤링 프레임워크 기술
동적 웹페이지 크롤링 기술
Selenium, Headless Chrome 크롤링 기술

네카라쿠배도 사내 강의로 선택하는 공식 강의! 
데이터 과학/분석 커리어를 위한
최신 파이썬 크롤링 수집 기술을 익히는
완성도 높은 강의

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 강의를 기반으로 크롤링 및 파이썬 데이터 수집 중급 기술을 체계적으로 익히는 강의입니다. 현업과 병행하며, 일반적인 IT 강의보다는 최대한 수강자 입장을 고민해서 만든 특별한 강의로, 강의와 더불어, 짧은 시간에 익힐 수 있도록 기능을 하나씩 따라하며, 데이터 처리 역량을 더 쌓을 수 있는 강의입니다.

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 강의를 선수강하신 분들을 대상으로 중급 데이터 수집 기술을 익하는 강의입니다. 데이터 과학/분석, 풀스택 개발자 커리어를 고려하시는 분들을 대상으로 하는 내용으로 구성하였습니다. 

데이터 분석/과학 커리어를 위해 기본기를 쌓으려면 어떻게 해야 하나요?
  • 파이썬을 익히고, 데이터 분석 전과정을 해보셔야 합니다. 
  • 데이터 수집, 데이터 저장, 데이터 분석, 데이터 예측 순서대로 차근차근 익히시면 됩니다. 전 과정은 현업에서도 파이썬으로 모두 작업하므로, 파이썬으로 전과정을 익히시면 됩니다.
  • 본 강의는 데이터 수집 중급 기술을 익히는 단계로, 파이썬 입문과 크롤링 기초 부트캠프에서 익힌 크롤링과 파이썬 기본 기술을 활용하고, 나아가 최신 데이터 수집 기술인 Selenium 과 Scrapy 프레임워크를 익히는 강의입니다.

데이터 과학 전과정을 다뤄봐야!
데이터를 다루는 기본기를 닦으실 수 있습니다

Selenium 과 Scrapy 프레임워크는 무엇인가요?
  • 파이썬 입문과 크롤링 기초 부트캠프 에서, 기본적인 파이썬 프로그래밍 문법과 bs4 라이브러리를 기반으로, 웹페이지에서 다양한 데이터를 자동으로 수집하는 크롤링 기술을 익혔습니다.
  • 그런데, 최근에는 웹페이지가 만들어지는 기술이 다양합니다. 크게는 정적 웹페이지와 동적 웹페이지로 나뉘어지는데요. 동적 웹페이지의 경우에는 기본 크롤링 기술로는 데이터 수집이 어렵습니다.
  • Selenium 은 동적 웹페이지에서도 데이터를 수집할 수 있는 기술입니다. 또한 로그인한 후의 웹페이지등, 웹페이지에서 특정한 동작을 진행한 후, 가져와야 하는 웹페이지도 자동으로 데이터를 수집할 수 있습니다.
  • 또한 Scrapy 프레임워크는 대량의 데이터를 전문적으로 수집하기 위해 사용하는 기술입니다. 다양한 기능을 제공해주고, 무엇보다 크롤링 속도가 빠릅니다.

본 강의에서는 Selenium 과 Scrapy 이외에
또다른 크롤링 기술인 Headless Chrome 와 XPATH 도 다룹니다!
본 강의는 파이썬 입문과 크롤링 부트캠프와 함께 크롤링 전 기술을 익힐 수 있습니다

 * 본 강의는 파이썬 입문과 크롤링 기초 부트캠프를 통해 익힌 파이썬 프로그래밍과 IT 기본 기술 및 크롤링 기술을 활용합니다. 여기에 Selenium 과 Scrapy 프레임워크를 추가로 익히면서, 알고 있는 기술은 반복을 통해 보다 익숙하게 만들뿐더러, 다른 기술과 함께 다른 각도에서 접근해보면서, 현존 데이터 수집 기술을 모두 익히고, 파이썬과 데이터 과학의 데이터 수집 기본기를 탄탄히 다질 수 있도록 만들었습니다.


짧은 시간에 관련 활용 기술에 익숙해질 수 있도록
단계별/기술별, 다양한 코드와 자료를 기반으로, 강의를 제공합니다

시간을 낭비하지 마세요!
우리는 정보가 없어서 못하는 것이 아닙니다!
검증된 강의로 익히세요!

수백만원의 수강료를 내고 문법만 전달하는 강의를 들으셨던 분들이 있었을까요? 수업을 들으며, 자연스럽게 반복하고, 머리에 쏙쏙 들어올 수 밖에 없는, 그리고 실제 사용이 가능하도록, 연습 문제와, 코드에 익숙해지도록 코드를 패턴화까지 시켜서, 자연스럽게 기본기를 제대로 쌓을 수 있도록 만들었습니다.

본 강의는 기존 강의를 보다 개선한 강의입니다.

기존 강의의 단점을 보완하고, 연습을 보다 많이 할 수 있도록 꾸몄습니다.
본 강의를 위해, 특별히 테스트 사이트도 직접 만들고, 이를 기반으로 다양한 크롤링 중급 기술을 테스트해보고, 활용할 수 있도록 꾸몄습니다.

'아! 진짜 다르구나!' 라고 느낄 수 있도록
꾸준히 고민하고, 개선해서 만드는 강의입니다.

합리적이고 서로 배려하고
좋은 인연을 맺을 수 있는 분들만
수강 부탁드립니다!

데이터와 풀스택 커리어 준비를 위해 차근차근 기본기를 쌓을 수 있는 로드맵을 만들고 있습니다

데이터 분석/과학 코스: 데이터 분석가/과학자를 위한 탄탄한 기본기 쌓기 

익히는 순서에 따라 번호를 붙여 놓았습니다.

  1. 파이썬 입문과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
  2. 쉽게 처음하는 파이썬 고급 크롤링 (전문 크롤링 기술로, 데이터로드맵에는 미포함)
  3. SQL과 데이터 저장/분석 기본 (SQL 익히고, 데이터 저장/분석하기)
  4. NoSQL(mongodb) 빅데이터 기본 (NoSQL 익히고, 빅데이터 저장/분석하기)
  5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]
  6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]
  7. 처음하는 딥러닝과 파이토치 부트캠프 [데이터과학 Part3]

* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다 (할인율은 곧 축소 예정입니다)
[입문~초급] 취업을 위한 데이터 과학 기본 기술 쉽게! 꼼꼼하게 익히기 (바로가기)

풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. MySQL과 데이터 저장/분석 기본 (SQL 익히고, 데이터 저장/분석하기)
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 익히고, 빅데이터 저장/분석하기)
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]
6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]
7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 23' 상반기 오픈 예정)
8. 풀스택 웹, PC프로그램, 앱 개발 클론코딩 시리즈 (풀스택 Part5, 23' 하반기 예정)
9. 풀스택을 위한 강력한 최신 백엔드 Go 언어 (23' 하반기 예정)
앱, 웹 기술이 급격히 변화 중이어서, React, Vue 강의를 보다 최신 기술을 선점하기 위해,
웹, PC프로그램, 앱 모두를 지원하는 가장 최신 기술인 flutter 로 진행합니다.

* 현재까지의 풀스택 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~중급] 가장 쉽고, 가장 최신 기술로 익히는 풀스택 로드맵 (바로가기)

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
데이터 과학 기본기를 쌓고자, 데이터 수집 기술인 크롤링 기술부터 차곡차곡 익히고 싶은 분들
파이썬 크롤링 중급 기술을 익히고 싶은 분들
📚
선수 지식,
필요할까요?
파이썬 입문과 크롤링기초 부트캠프

안녕하세요
잔재미코딩 DaveLee 입니다.
잔재미코딩 DaveLee의 썸네일

잔재미코딩, Dave Lee

  • About 잔재미코딩 소개 블로그 [클릭]

  • 주요 경력: 쿠팡 수석 개발 매니저/Principle Product Manager, 삼성전자 개발 매니저 (경력 약 15년)

  • 학력: 고려대 일어일문 / 연세대 컴퓨터공학 석사 (완전 짬뽕)

  • 주요 개발 이력: 삼성페이, 이커머스 검색 서비스, RTOS 컴파일러, Linux Kernel Patch for NAS

  • 저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발, 누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서

  • 운영 사이트: 잔재미코딩 (http://www.fun-coding.org) [클릭]

  • 풀스택/데이터과학 관련 무료 자료를 공유하는 사이트입니다.

  • 기타: 잔재미코딩 유투브 채널 [클릭] 

    • IT 학습에 도움이 되는 팁/ 짧은 무료 강의를 공유하고자, 조금씩 시작하고 있습니다~

최신 현업과 IT 강의를 병행하며, 8년째 꾸준히 견고한 풀스택과 데이터과학 강의를 만들고 있습니다.

 

커리큘럼 총 38 개 ˙ 8시간 51분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 강의 준비
오리엔테이션과 강의 특징 미리보기 03:52 강의 진행 방법 소개 미리보기 11:06
학습 효과를 높일 수 있는 꿀팁과 공유사항 (업데이트) 18:32
파이썬과 크롤링 기본 강의 요약 정리 15:54
섹션 1. 수업 환경 설치 (참고)
수업준비를 위한 anaconda 와 쥬피터노트북 소개 미리보기 06:02
[참고] 주피터 노트북 및 아나콘다 설치 (맥 환경) (업데이트) 06:14
[참고] 쥬피터 노트북 및 아나콘다 설치 (윈도우 환경) (업데이트) 08:51
(참고) 주피터 노트북 사용법 익히기 (업데이트) 17:09
섹션 2. Selenium 이해와 기본 사용법
Selenium 과 Scrapy 프레임워크 큰 그림과 목표 이해하기 19:51
Selenium 설치 (Hello Selenium!) 17:16
Selenium 기본 사용법1 - name 으로 찾기 12:47
Selenium 기본 사용법2 - 웹사이트 자동 클릭 및 크롤링 10:34
Selenium 기본 사용법3 - 다양한 기법으로 원하는 데이터 선택하기 17:08
섹션 3. Headless Chrome 과 Selenium 이해와 활용
Headless Chrome 이해와 사용법 17:17
연습문제로 풀어보기1 : Headless Chrome 과 Selenium 크롤링 14:22
연습문제로 풀어보기2 : 동적 웹사이트 이해와 크롤링 17:09
연습문제로 풀어보기3 : 동적 웹사이트 크롤링과 활용 19:38
섹션 4. 데이터를 크롤링하는 또다른 기법: XPATH
XPATH 큰 그림으로 이해하기 09:25
XPATH 문법 이해하기 14:38
연습문제로 풀어보며 이해하는 XPATH 활용 18:38
섹션 5. Selenium 을 활용한 멀티 페이지와 이미지 크롤링
Selenium 을 활용한 멀티 페이지 크롤링 10:28
Selenium 과 이미지 크롤링 기법 이해와 활용 20:54
섹션 6. 강력한 크롤링 프레임워크: Scrapy 기본 사용법 이해
Scrapy 를 위한 기본 지식: 객체 지향 프로그래밍 이해1 14:45
Scrapy 를 위한 기본 지식: 객체 지향 프로그래밍 이해2 15:30
강력/최신 크롤링 기술: Scrapy 이해하기 11:59
강력/최신 크롤링 기술: Scrapy 프로젝트 만들기 17:10
강력/최신 크롤링 기술: Scrapy 크롤러 만들기 15:47
강력/최신 크롤링 기술: Scrapy shell 사용법 익히기 14:56
강력/최신 크롤링 기술: Scrapy 로 css selector/xpath 사용하기 06:19
강력/최신 크롤링 기술: Scrapy spider 크롤링 기법 13:42
강력/최신 크롤링 기술: Scrapy spider 크롤링 데이터 저장 기법 15:38
섹션 7. 강력한 크롤링 프레임워크: Scrapy 다양한 사용법 이해
연습문제로 이해하는 Scrapy 활용 10:46
Scrapy 다양한 사용법: pipeline 사용법 12:38
Scrapy 다양한 사용법: 여러 웹페이지 한번에 크롤링하기 16:42
Scrapy 다양한 사용법: Scrapy 로 네이버 Open API 크롤링하기1 19:17
Scrapy 다양한 사용법: Scrapy 로 네이버 Open API 크롤링하기2 12:59
Scrapy 다양한 사용법: Selenium 과 Scrapy 조합해서, 동적 웹페이지 크롤링하기 16:24
섹션 8. Outro
데이터 분석/과학 커리와와 로드맵, 향후 학습 방법 이해 08:49
강의 게시일 : 2021년 11월 25일 (마지막 업데이트일 : 2023년 06월 09일)
수강평 총 45개
수강생분들이 직접 작성하신 수강평입니다.
4.7
45개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
권성민 thumbnail
5
항상 친절한 강의 감사합니다
2023-08-05
지식공유자 잔재미코딩 DaveLee
감사합니다~더 열심히 노력하는 잔재미코딩 되겠습니다!!🥰
2023-08-07
smlee thumbnail
5
요즘 스크래핑이 재미있어서 이것저것 해보고 있다가, Scrapy를 강의하시기에 들었는데요. 강사님의 설명을 듣다보니, 데이터 분석/과학에 대해서도 약간의 관심이 생기네요. 아직 데이터 과학자가 되겠다는 생각은 없지만, 강사님의 다음 강의도 수강해 볼 예정입니다. 큰 흐름을 잘 설명해 주시고, 오류를 낼 수 있는 부분까지 알려주셔서 재미나게 따라왔습니다.
2023-06-05
지식공유자 잔재미코딩 DaveLee
감사합니다^^ 흥미를 갖고 하는 공부는 성과가 나오기 마련이더라구요 그러면서 발전도하고 목표에 변화가 생기기도 하구요~다음 강의도 우리 함께 재미있게 해봐요!! 홧팅!!
2023-06-06
허쿡 thumbnail
5
역시 이번 커리큘럼도 알찬 내용들이였습니다. 파이썬 라이브러리와 대표적인 프레임워크를 같이 공부하고 적용해볼 수 있어서 좋았습니다 :) 하지만 역시나 스스로 복습해서 체화시키는 시간이 꼭 필요합니다. 강의 끝나고 항상 스스로 적용시켜볼 문제들을 만들어서 공부해보니 이해도가 훨씬 높아지는 것 같습니다. 스스로 풀어보려고 한 문제가 안 풀려서 2일 동안 진도를 못 나간 적이 있는데 당시에는 속도가 더뎌질까 걱정했지만 시간이 지나니 오히려 이런 날들이 더 도움이 되었습니다. 데이브님 좋은 강의 항상 감사합니다.!!
2022-02-13
지식공유자 잔재미코딩 DaveLee
아 맞습니다. 허쿡님은 아이디를 제가 알고 있어요. 오랜동안 고민한 그 시간이 아까운 시간이 아니라 꼭 필요한 시간이더라고요. 많은 자료를 찾아보며, 검색이 질릴정도로, 다른 글을 읽어보는 것이 질릴정도가 여러번 되면서, 어느날 조금씩 그런 과정이 익숙해지고, 뼈가되고 살이 되실꺼라 믿습니다. 열심히 하시는 모습 보기 좋습니다.
2022-03-16
Jay thumbnail
5
좋은강의로선순환을 만들어 가시는 Dave Lee 선생님께 감사드립니다! 수강자들을 위한 고민과 정성이 깃들어 있는 강의입니다. 생선을 물어다 주기를 바라는 분들보다는 생선잡는 법을 배우고 싶으신 분들께 강추 입니다! 앞으로도 좋은강의 기대하며 응원하겠습니다~!!
2023-06-12
지식공유자 잔재미코딩 DaveLee
강의제작 의도에 공감해주셔서 진심으로 감사드려요🥰 앞으로도 최선을 다하겠습니다👍
2023-06-12
dostudydo thumbnail
5
크롤링 1편에 이어 2편도 완강했습니다! 처음에는 크롤링 기본도 아직 익숙하지 않은 상태인지라, 2편을 이어서 듣는게 맞는지 고민이 됐었지만, 그래도 2편까지 단번에 완강을 해냈습니다. 등하원 시키면서 회사도 다니고, 가족들과 주말 나들이도 다니면서 틈틈히 강의를 수강해 나간지라 완강에 대한 성취감이 이루말할 수 없네요. 일단 강의 듣는 것은 판다스까지 쭈욱 이어갈 계획이고, 앞으로는 강의 듣는 시간을 줄이고, 지금까지 배워온 크롤링 기술들을 제가 크롤링하고 싶은 사이트에 하나씩 적용해 나가며 내재화 시키는 시간을 좀더 많이 가져가볼까 합니다. 아무래도 판다스까지 배워놓으면 확실히 일할때 많은 도움이 될거 같긴하네요~첫술에 배부를 순 없고, 일단 앞으로 3년 꾸준히 조금씩 해보려고 합니다. 분명 좋은 일들이 생기겠죠? 선생님께서도 항상 건강하시고, 앞으로 좋은 강의 많이 많이 만들어주세요! 감사합니다!
2023-06-02
지식공유자 잔재미코딩 DaveLee
와우 2편까지 완강축하드려요!! 열심히 하시는 만큼 좋은 결과 있으실거예요~꾸준함은 큰 무기가 된답니다^^
2023-06-02