강의

멘토링

커뮤니티

BEST
데이터 사이언스

/

데이터 엔지니어링

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

데이터 과학, 빅데이터, 크롤링을 익히고자 하시는 분들을 위해 - 현존하는 최신, 최고의 크롤링 기술을 다양한 예제로 빠르게 익힐 수 있도록 꾸몄습니다.

(4.7) 수강평 45개

수강생 866명

"쉽지만 가볍지 않습니다"
웹 크롤링ScrapySelenium빅데이터

먼저 경험한 수강생들의 후기

이런 걸 배울 수 있어요

  • 파이썬 크롤링 중급 기술

  • Scrapy 크롤링 프레임워크 기술

  • 동적 웹페이지 크롤링 기술

  • Selenium, Headless Chrome 크롤링 기술

네카라쿠배도 사내 강의로 선택하는 공식 강의! 
데이터 과학/분석 커리어를 위한
최신 파이썬 크롤링 수집 기술을 익히는
완성도 높은 강의

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 강의를 기반으로 크롤링 및 파이썬 데이터 수집 중급 기술을 체계적으로 익히는 강의입니다. 현업과 병행하며, 일반적인 IT 강의보다는 최대한 수강자 입장을 고민해서 만든 특별한 강의로, 강의와 더불어, 짧은 시간에 익힐 수 있도록 기능을 하나씩 따라하며, 데이터 처리 역량을 더 쌓을 수 있는 강의입니다.

본 강의는 파이썬 입문과 크롤링 기초 부트캠프 강의를 선수강하신 분들을 대상으로 중급 데이터 수집 기술을 익하는 강의입니다. 데이터 과학/분석, 풀스택 개발자 커리어를 고려하시는 분들을 대상으로 하는 내용으로 구성하였습니다. 

데이터 분석/과학 커리어를 위해 기본기를 쌓으려면 어떻게 해야 하나요?
  • 파이썬을 익히고, 데이터 분석 전과정을 해보셔야 합니다. 
  • 데이터 수집, 데이터 저장, 데이터 분석, 데이터 예측 순서대로 차근차근 익히시면 됩니다. 전 과정은 현업에서도 파이썬으로 모두 작업하므로, 파이썬으로 전과정을 익히시면 됩니다.
  • 본 강의는 데이터 수집 중급 기술을 익히는 단계로, 파이썬 입문과 크롤링 기초 부트캠프에서 익힌 크롤링과 파이썬 기본 기술을 활용하고, 나아가 최신 데이터 수집 기술인 Selenium 과 Scrapy 프레임워크를 익히는 강의입니다.

데이터 과학 전과정을 다뤄봐야!
데이터를 다루는 기본기를 닦으실 수 있습니다

Selenium 과 Scrapy 프레임워크는 무엇인가요?
  • 파이썬 입문과 크롤링 기초 부트캠프 에서, 기본적인 파이썬 프로그래밍 문법과 bs4 라이브러리를 기반으로, 웹페이지에서 다양한 데이터를 자동으로 수집하는 크롤링 기술을 익혔습니다.
  • 그런데, 최근에는 웹페이지가 만들어지는 기술이 다양합니다. 크게는 정적 웹페이지와 동적 웹페이지로 나뉘어지는데요. 동적 웹페이지의 경우에는 기본 크롤링 기술로는 데이터 수집이 어렵습니다.
  • Selenium 은 동적 웹페이지에서도 데이터를 수집할 수 있는 기술입니다. 또한 로그인한 후의 웹페이지등, 웹페이지에서 특정한 동작을 진행한 후, 가져와야 하는 웹페이지도 자동으로 데이터를 수집할 수 있습니다.
  • 또한 Scrapy 프레임워크는 대량의 데이터를 전문적으로 수집하기 위해 사용하는 기술입니다. 다양한 기능을 제공해주고, 무엇보다 크롤링 속도가 빠릅니다.

본 강의에서는 Selenium 과 Scrapy 이외에
또다른 크롤링 기술인 Headless Chrome 와 XPATH 도 다룹니다!
본 강의는 파이썬 입문과 크롤링 부트캠프와 함께 크롤링 전 기술을 익힐 수 있습니다

 * 본 강의는 파이썬 입문과 크롤링 기초 부트캠프를 통해 익힌 파이썬 프로그래밍과 IT 기본 기술 및 크롤링 기술을 활용합니다. 여기에 Selenium 과 Scrapy 프레임워크를 추가로 익히면서, 알고 있는 기술은 반복을 통해 보다 익숙하게 만들뿐더러, 다른 기술과 함께 다른 각도에서 접근해보면서, 현존 데이터 수집 기술을 모두 익히고, 파이썬과 데이터 과학의 데이터 수집 기본기를 탄탄히 다질 수 있도록 만들었습니다.


짧은 시간에 관련 활용 기술에 익숙해질 수 있도록
단계별/기술별, 다양한 코드와 자료를 기반으로, 강의를 제공합니다

시간을 낭비하지 마세요!
우리는 정보가 없어서 못하는 것이 아닙니다!
검증된 강의로 익히세요!

수백만원의 수강료를 내고 문법만 전달하는 강의를 들으셨던 분들이 있었을까요? 수업을 들으며, 자연스럽게 반복하고, 머리에 쏙쏙 들어올 수 밖에 없는, 그리고 실제 사용이 가능하도록, 연습 문제와, 코드에 익숙해지도록 코드를 패턴화까지 시켜서, 자연스럽게 기본기를 제대로 쌓을 수 있도록 만들었습니다.

본 강의는 기존 강의를 보다 개선한 강의입니다.

기존 강의의 단점을 보완하고, 연습을 보다 많이 할 수 있도록 꾸몄습니다.
본 강의를 위해, 특별히 테스트 사이트도 직접 만들고, 이를 기반으로 다양한 크롤링 중급 기술을 테스트해보고, 활용할 수 있도록 꾸몄습니다.

'아! 진짜 다르구나!' 라고 느낄 수 있도록
꾸준히 고민하고, 개선해서 만드는 강의입니다.

합리적이고 서로 배려하고
좋은 인연을 맺을 수 있는 분들만
수강 부탁드립니다!

데이터와 풀스택 커리어 준비를 위해 차근차근 기본기를 쌓을 수 있는 로드맵을 만들고 있습니다

데이터 분석/과학 코스: 데이터 분석가/과학자를 위한 탄탄한 기본기 쌓기 

익히는 순서에 따라 번호를 붙여 놓았습니다.

  1. 파이썬 입문과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
  2. 쉽게 처음하는 파이썬 고급 크롤링 (전문 크롤링 기술로, 데이터로드맵에는 미포함)
  3. SQL과 데이터 저장/분석 기본 (SQL 익히고, 데이터 저장/분석하기)
  4. NoSQL(mongodb) 빅데이터 기본 (NoSQL 익히고, 빅데이터 저장/분석하기)
  5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]
  6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]
  7. 처음하는 딥러닝과 파이토치 부트캠프 [데이터과학 Part3]

* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다 (할인율은 곧 축소 예정입니다)
[입문~초급] 취업을 위한 데이터 과학 기본 기술 쉽게! 꼼꼼하게 익히기 (바로가기)

풀스택 코스: 최신 웹/앱 서비스를 A to Z 로 혼자서도 만들 수 있는 테크트리

익히는 순서에 따라 번호를 붙여 놓았습니다.

1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
2. MySQL과 데이터 저장/분석 기본 (SQL 익히고, 데이터 저장/분석하기)
3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 익히고, 빅데이터 저장/분석하기)
4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]
6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]
7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 23' 상반기 오픈 예정)
8. 풀스택 웹, PC프로그램, 앱 개발 클론코딩 시리즈 (풀스택 Part5, 23' 하반기 예정)
9. 풀스택을 위한 강력한 최신 백엔드 Go 언어 (23' 하반기 예정)
앱, 웹 기술이 급격히 변화 중이어서, React, Vue 강의를 보다 최신 기술을 선점하기 위해,
웹, PC프로그램, 앱 모두를 지원하는 가장 최신 기술인 flutter 로 진행합니다.

* 현재까지의 풀스택 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~중급] 가장 쉽고, 가장 최신 기술로 익히는 풀스택 로드맵 (바로가기)

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • 데이터 과학 기본기를 쌓고자, 데이터 수집 기술인 크롤링 기술부터 차곡차곡 익히고 싶은 분들

  • 파이썬 크롤링 중급 기술을 익히고 싶은 분들

선수 지식,
필요할까요?

  • 파이썬 입문과 크롤링기초 부트캠프

안녕하세요
입니다.

32,732

수강생

2,335

수강평

1,949

답변

4.9

강의 평점

13

강의

잔재미코딩, Dave Lee

  • About 잔재미코딩 소개 블로그 [클릭]

  • 주요 경력: 쿠팡 수석 개발 매니저/Principle Product Manager, 삼성전자 개발 매니저 (경력 약 15년)

  • 학력: 고려대 일어일문 / 연세대 컴퓨터공학 석사 (완전 짬뽕)

  • 주요 개발 이력: 삼성페이, 이커머스 검색 서비스, RTOS 컴파일러, Linux Kernel Patch for NAS

  • 저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발, 누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서

  • 운영 사이트: 잔재미코딩 (http://www.fun-coding.org) [클릭]

  • 풀스택/데이터과학/AI 관련 무료 자료를 공유하는 사이트입니다.

  • 기타: 잔재미코딩 유투브 채널 [클릭] 

    • IT 학습에 도움이 되는 팁/ 짧은 무료 강의를 공유하고자, 조금씩 시작하고 있습니다~

최신 현업과 IT 강의를 병행하며, 8년째 꾸준히 견고한 풀스택, 데이터과학, AI 강의를 만들고 있습니다.

 

커리큘럼

전체

38개 ∙ (8시간 51분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

전체

45개

4.7

45개의 수강평

  • gjwogur122664님의 프로필 이미지
    gjwogur122664

    수강평 10

    평균 평점 5.0

    5

    100% 수강 후 작성

    やはり今回のカリキュラムも充実した内容でした。 Pythonライブラリと代表的なフレームワークを一緒に勉強して適用することができてよかったです:) しかし、やはり自分で復習して体化させる時間が必ず必要です。講義が終わり、いつも自分で適用させる問題を作って勉強してみると、理解度がはるかに高くなるようです。 自分で解決しようとした問題が解かれて2日間進歩できなかったのですが、当時はスピードが悪くなるのではないかと心配していましたが、時間が過ぎてむしろこのような日々がさらに役に立ちました。 デイブの良い講義はいつもありがとうございます。

    • funcoding
      지식공유자

      ああそうです。ハクク様はIDを私が知っています。長い間悩んだその時間が惜しい時間ではなく、必ず必要な時間だったんですよ。多くの資料を探してみて、検索が飽きるくらいで、他の文を読んでみるのが飽きる程度が何度もなって、ある日少しずつそのような過程が慣れて、骨になって肉になると信じています。頑張る様子を見てください。

  • leokwon32197님의 프로필 이미지
    leokwon32197

    수강평 9

    평균 평점 5.0

    5

    100% 수강 후 작성

    いつも親切な講義ありがとうございます

    • funcoding
      지식공유자

      ありがとうございました〜もっと頑張る残材ミコーディングになります!!🥰

  • jayhong님의 프로필 이미지
    jayhong

    수강평 6

    평균 평점 4.5

    5

    100% 수강 후 작성

    良い講義で好循環を作っていくDave Lee先生に感謝! 受講者のための悩みと真心が込められている講義です。 魚を頼むことを望む方よりも魚の捕獲方法を学びたい方におすすめです! これからも良い講義を楽しみにして応援します~!

    • funcoding
      지식공유자

      講義制作意図に共感していただきありがとうございます🥰 これからも頑張ります👍

  • smlee2836님의 프로필 이미지
    smlee2836

    수강평 9

    평균 평점 4.8

    5

    100% 수강 후 작성

    最近スクレイピングが面白くてあれこれしてみているのですが、Scrapyを講義されるのに聞きました。 講師様の説明を聞いてみると、データ分析/科学についても若干の関心が生まれますね。まだデータ科学者になるという考えはありませんが、講師の次の講義も受講してみる予定です。 大きな流れをよく説明していただき、エラーを出せる部分まで教えてくれて楽しくついてきました。

    • funcoding
      지식공유자

      ありがとうございます^^ 興味を持っている勉強は成果が出る用意だったんですけど、それから発展もして目標に変化が生じたりもしますよ~ホッティング!

  • dostudydo님의 프로필 이미지
    dostudydo

    수강평 5

    평균 평점 5.0

    5

    100% 수강 후 작성

    クロール1本に続き2本も頑張りました!最初はクロール基本もまだ慣れていない状態なので、2編を続けて聞くのが正しいか悩みになっていましたが、それでも2編まで一気に頑張りました。登下院させながら会社も通い、家族や週末の出入りも通ってきっと講義を受講していったので、頑強に対する達成感が成し遂げられませんね。一度講義を聞くことはパンダスまでずっと続く計画であり、今後は講義の聞く時間を減らし、これまで学んできたクロール技術を私がクロールしたいサイトに一つずつ適用していき、内在化させる時間をもっとたくさん持っていこうと思います。どうやらパンダスまで学んでおけば、しっかり働くときに多くの助けになると思いますね~初酒に配付をすることはできず、一応これから3年着実に少しずつやってみようと思います。明らかに良いことが起こるでしょうか?先生もいつも元気で、今後良い講義をたくさん作ってください!ありがとうございます!

    • funcoding
      지식공유자

      うわー2編まで頑張ってください!頑張るほど良い結果がありますよ〜着実さは大きな武器になります^^

잔재미코딩 DaveLee님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!