Thumbnail
데이터 사이언스 데이터 분석

따라하며 익히는 크롤링 마스터 with데이터공방 대시보드

(4.5)
4개의 수강평 ∙  127명의 수강생

44,000원

지식공유자: 데이터공방
총 48개 수업 (11시간 11분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

입문자를 위해 준비한
[업무 자동화, 데이터 분석] 강의입니다.

파이썬 크롤링 마스터. 이것 하나면 설치부터 응용까지 한번에. 진짜 활용하는데 꼭 필요한 내용만 꾹꾹 눌러 담았습니다.

✍️
이런 걸
배워요!
꼭 필요한 파이썬 문법만, 누구보다 쉽게
크롤링의 정수! 핵심 꿀팁까지
보기만 하는 강의가 아닌, 직접 입력하고 실행하는
selenium을 이용한 브라우저 조작하기
HTML에서 원하는 것 찾기(feat.BeautifulSoup)
크롤링 결과 엑셀 파일로 저장하기
크롤링 방법 장단점 비교

정보의 바다에서 편하게 고기도 잡고 물장구치는 크롤링 노하우를 알려드립니다.

📑 아래 목록 중 해당 사항이 있는지 체크해보세요!

  • ✅ 반복 작업을 하나 하나 직접 수정하고 손보며 매일매일 진행하고 있다.
  • ✅ 반복 작업을 하느라 시간이 없어서 정작 중요한 분석 업무는 엄두도 못내고 있다.
  • ✅ 간단한 그래프 만들기, 단순 PPT 만들고 보고하는 업무를 효율적으로 하고 싶다.
  • ✅ 무작정 Ctrl + C, Ctrl + V 를 무한 반복하는 업무에 자괴감이 든다.
  • ✅ 컴퓨터에게 작업을 시키고, 진짜 중요한 일에 시간과 정성, 노력을 투자하고 싶다.
  • 👉 1개 이상 해당 사항이 있다면, 여러분은 이 강의를 들으셔야 합니다.

정보의 바다에서 편하게 고기도 잡고 물장구치는 크롤링 노하우 📑

요즘 인터넷에 없는 데이터가 있나요? 없습니다. 찾은 자료 다 저장해서 사용하면 되지 싶지만, 그게 어디 쉽나요? 쉽지않은 것을 가능하게 하는 것, 인터넷 웹페이지에 있는 정보들을 수집하는 것을 바로 크롤링이라고 합니다. 크롤링을 배우면 업무 효율을 높이는데 정말 좋겠죠? 그런데 파이썬 크롤링에는 수 많은 방법들이 존재합니다. 이거 모두 다 배우면, 힘들고 시간도 많이 들어요. 그리고 심지어 다 아는 사람도 많이 없지요.

이 강의는 제가 밤새워가며 하나하나 찾아보고, 테스트하고, 실제 진행해왔던 것들, 그 중에서 불필요한 것들, 중복되는 것들 제거하고 남은 꼭 필요한 핵심 명령어, 기술들만 고르고 골라서 구성했습니다. 여러분에게 자잘한 것(?) 없이, 핵심만 골라서 알려드리겠습니다. 


믿고 보는 "데이터공방" 💪

3년 전에 제가 블로그에 작성한 크롤링 기초 글 등을 보기 위해서 아직도 하루에 천명 넘는 사람들이 블로그를 찾고 있습니다.  

📗네이버 블로그 "데이터공방" 

<코.알.못 마케터도 크롤링하기 #4.BeautifulSoup으로 정보가져오기>
누적 조회수 44천건, 2021.01.14 기준 -

3년 전에 글을 작성한 이후로도 많은 프로젝트를 진행하고 Q&A들도 확인하며 새롭게 테스트하고 있지만, 지금까지 제가 정리한 기술들로 안되는 부분은 없었습니다. 많은 라이브러리와 다양한 방법들이 쏟아져 나오고 있지만, 결국 가장 기본이 되는 것들만 익히면 무엇이든 응용을 하실 수 있습니다. 단기적으로 이거 딱 하나만 해결할 수 있는 방법이 아니라, 이것도 되고 저것도 되고, 앞으로도 쭉 사용할 수 있는 방법들을 알려드리려고 합니다. 

이것 저것  다양한 명령어와 강의들에서 방황하지 마시고, "데이터공방" 과 함께 해보시죠. 제가 그동안 무수한 시행착오와 테스트를 바탕으로 자신있게 정리한 핵심 내용들을 소개합니다. 지금 다른 강의로 넘어가신다면, 다음에 다시 들어오셔서 "아... 그때 바로 들을껄..."  하실 거에요. 알면 기술, 모르면 마법! 그 기술을 배우시면 삶이 정말 편안~해 집니다!


이 강의는 어떤 강의인가요? 🧐

  • 코드만 읽고, 실행하고, 그냥 넘어가는 강의가 아닙니다.
  • 하나 하나 직접 타이핑하며 설명하고, 해석하고, 함께 고민합니다. 
  • 반대로 말하면 편한 강의가 아닙니다. 
  • 가만히 실행만 하거나, 그냥 듣기만 하면 되는 강의가 아닙니다.
  • 계속 타이핑 하며, 따라 입력하며 진행하는 불편한 강의입니다. 

이 강의에서 배우는 것들 ✏️

  • 파이썬 설치부터, 크롤링에 꼭 필요한 파이썬 사용법
  • 내 눈에 보이는 웹 페이지 정보들 
  • Ctrl + C,  Ctrl + V   필요 없게 하는 크롤링  기술
  • 굳이 불필요한, 있어보이는 단어나 굳이 활용도 떨어지는 내용도는 NO!
  • 딱! 활용 200% 가능한 것들만 핵심으로!

여기서 다루는 툴 🧰 

강의 진행시 실습 컴퓨터가 필요합니다. 

  • 파이썬 3.x 설치
  • 쥬피터노트북 설치
  • 크롬 브라우저 설치

컴퓨터 사양은 부팅하는데 20분이 넘어가지 않으면 문제 없습니다. 

파이썬 설치는 아나콘다를 이용하는 것을 추천하며,  설치 안내 자료를 참고하세요https://m.blog.naver.com/kiddwannabe/221154599192


예상 질문 Q&A 🙋🏻‍♂️ 

Q. 비전공자도 들을 수 있나요? 코딩이 처음인데.... 
A. 비전공자를 위한 강의입니다. 프로그램 설치부터 하나씩 진행합니다. 중간중간 저만의 팁을 전달드리기 위해 입과 손을 쉬지 않았습니다. 수업 영상들을 빠지지 말고 모두 들으시는 것을 추천드려요.  

※ 프로그래밍을 잘 아는 분은 속도를 빠르게 듣거나, 다른 강의 듣는 것을 추천합니다.

Q. 어떤 사람이 들으면 좋을까요? ? 
A. 파이썬으로 뭘 할 수 있는지 궁금하신 분!
   프로그래밍은 처음이라 겁나시는 분!
   컴퓨터에게 일 시키고 퇴근하고 싶으신 분!

Q. 다른 강의랑 차이점은?
A.  PPT 만 보고 지나가는 강의가 아닌!
    이미 입력한 코드만 읽어주는 강의가 아닌!
    하나 하나 직접 입력하고 실행하고, 에러도 보고 결과도 살펴보는 실전 활용을 위한 강의 입니다. 

Q. 실습파일 및 정리된 자료도 있나요?
A.  가능한 라이브코딩 환경에 맞게 비어있는 쥬피터노트북에 하나하나 타이핑해가며 진행하며, 이미지로 설명이 꼭 필요한 부분에 대해서는 PPT 장표를 활용하여 강의를 진행합니다

     

[updated]
- 2021.02.17. 인스타그램 크롤링 추가하였습니다
- 2021.05.06  유튜브 크롤링 추가하였습니다. 

- 2023.01.31  크롬 브라우저 버전 자동 업데이트 코드 활용방법을 추가하였습니다. 

 

강의는 지속적으로 추가 예정이며,
요청사항이나 궁금한 부분이 있으시다면 datago0ba0@gmail.com 메일로 문의 주세요. 감사합니다. 

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
프로그래밍을 처음 접하는 분
데이터를 수집하고 싶으신 분
SNS 데이터 수집하고 싶으신 분
보면 알겠는데,, 직접 하기에는 막막하신 분
📚
선수 지식,
필요할까요?
영문 자판 안보고 타이핑 하기

안녕하세요
데이터공방 입니다.
데이터공방의 썸네일

안녕하세요 데이터 공방 입니다. 

누구나 쉽게 배우고, 빠르게 활용 가능하도록 제가 노력하고, 실패하고, 성공했던 모든 경험들을 나누고자 합니다. 

네이버 블로그 <데이터공방> 에서도 관련 글들을 보실 수 있습니다. 

 

 블로그 보러 가기

 문의 메일 보내기

커리큘럼 총 48 개 ˙ 11시간 11분의 수업
이 강의는 영상, 수업 노트가 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 준비하기
섹션 1. 파이썬 익히기
컴퓨터에게 알려주기, 물어보기 07:55
숫자 데이터 04:30
문자 데이터 09:26
여러 개의 데이터 (리스트) 16:45
리스트 합치기 10:13
반복 작업하기(for 반복문) 미리보기 13:45
조건에따라(if조건문) 14:05
문자 데이터를 자유자재로 사용하기(f-string, 포매팅) 11:21
문자 데이터 내맘대로 정리하기 12:10
섹션 2. 크롤링 기초
크롤링 준비하기 (2023 New) 미리보기 20:29
브라우저 열기(with selenium & chromedriver) 16:40
웹 페이지 접속하기 & URL 살펴보기 17:23
얼렁뚱땅 HTML 살펴보기 19:28
HTML에서 내가 원하는 정보 찾기 (with BeautifulSoup.select) 미리보기 30:21
태그에서 필요한 값 추출하기 18:32
섹션 3. 넷플릭스 크롤링(1page 크롤링)
넷플릭스 오리지널 페이지 살펴보기 03:03
크롤링 계획 설계하기 미리보기 02:58
섹션 파트 나누기 17:55
프로그램 파트 찾기1_섹션 제목 찾기 18:11
프로그램 파트 찾기2_프로그램 13:45
프로그램 정보 수집하기 19:09
모든 프로그램 정보 수집하기(with 반복문) 15:42
엑셀 파일에 저장하기 21:17
섹션 4. 인스타 크롤링
인스타그램 페이지 살펴보기 미리보기 03:15
인스타그램 크롤링 계획 설계하기 02:54
로그인하기 06:49
태그 검색하기 12:14
게시글 클릭하기 (selenium으로 클릭하기) 23:03
다음 게시글 클릭하기 14:18
[게시글 정보 수집] - 본문 내용 09:42
[게시글 정보 수집] - 좋아요 수 19:57
[게시글 정보 수집] - 작성 일시 08:47
여러 게시글 반복 수집하기 feat.오류점검하기 09:41
수집 데이터 엑셀에 저장하기 09:54
인스타 크롤링 주의사항 및 활용 팁 21:17
섹션 5. 유튜브크롤링
유튜브 크롤링 소개 02:33
인기영상 리스트 수집하기1 14:23
인기영상 리스트 수집하기2 17:01
영상정보 수집하기1(제목, 조회수, 업로드일자) 15:50
영상정보수집하기2(좋아요,싫어요, 채널명) 15:39
댓글수집하기1-총댓글수확인하기 10:55
댓글수집하기2-댓글가져오기 22:14
(코드정리)원하는만큼댓글가져오기 21:00
강의 게시일 : 2021년 01월 21일 (마지막 업데이트일 : 2023년 01월 31일)
수강평 총 4개
수강생분들이 직접 작성하신 수강평입니다.
4.5
4개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
김호준 thumbnail
5
정말 쉽게쉽게 설명해주셔서 초입자 입장에서 너무 좋습니다:)
2022-11-10
이주리애 thumbnail
5
좋은 강의 감사합니다!
2021-01-24
지식공유자 데이터공방
하루만에 강의를 끝내버리셨네요! 도움이 되셨다니 다행입니다. ^^ 댓글 남겨주셔서 고맙습니다. 다른 강의들도 준비하고 있으니 기대해주세요 ^^
2021-01-24
민석띠ᄒ thumbnail
4
좋은 강의 감사합니다!
2021-11-08
지식공유자 데이터공방
수강평 남겨주셔서 감사합니다. 도움이 좀 되셨으면 좋겠네요
2021-11-08
김광일 thumbnail
4
무난하게 하나씩 따라하며 배우기 좋습니다
2022-02-25
지식공유자 데이터공방
수강평 남겨주셔서 감사합니다. 이후에도 원하시는 부분 잘 진행되길 바라겠습니다. 오늘도 좋은 하루 보내세요
2022-03-12