강의

멘토링

로드맵

BEST
Data Science

/

Data Engineering

Easy Python Advanced Crawling [Scrapy, Selenium, Headless Chrome]

For those who want to learn data science, big data, and crawling - We've designed it so that you can quickly learn the latest and best crawling technologies with various examples.

(4.7) 45 reviews

866 learners

  • funcoding
"쉽지만 가볍지 않습니다"
Web Crawling
Scrapy
Selenium
Big Data

Reviews from Early Learners

What you will learn!

  • Intermediate Python Crawling Techniques

  • Scrapy Crawling Framework Technology

  • Dynamic web page crawling technology

  • Selenium, Headless Chrome Crawling Technology

The official lecture chosen by Nekarakubae as an in-house lecture! 
For data science/analytics careers
Learn the latest Python crawling collection techniques
Highly complete lectures

This course builds on the Python Introduction and Crawling Basics bootcamp courses, systematically mastering intermediate crawling and Python data collection techniques. Designed to be used alongside professional work, this course is designed with the student's perspective in mind, unlike typical IT lectures . In addition to the lectures, you'll learn each function one by one, allowing you to quickly master the material and further develop your data processing capabilities .

This course is designed for those who have completed the Python Introduction and Crawling Basics bootcamp courses. It focuses on intermediate data collection techniques. It's designed for those considering careers in data science/analysis or full-stack development.

How do I build the foundation for a data analytics/science career?
  • You should learn Python and go through the entire data analysis process.
  • You can learn data collection, data storage, data analysis, and data prediction in order, step by step. Since the entire process is done in Python in the workplace, you can learn the entire process using Python.
  • This course is designed to teach you intermediate data collection techniques. It utilizes the crawling and basic Python skills learned in the Python Introduction and Crawling Basics bootcamps, and further teaches you the latest data collection technologies, Selenium and the Scrapy framework.

You need to cover the entire data science process!
You can learn the basics of handling data.

What are the Selenium and Scrapy frameworks?
  • In the Python Introduction and Crawling Basics Bootcamp , I learned basic Python programming syntax and crawling techniques to automatically collect various data from web pages based on the bs4 library.
  • However, these days, webpage creation technologies are diverse. Broadly speaking, they can be divided into static and dynamic webpages. Data collection from dynamic webpages is difficult using basic crawling techniques.
  • Selenium is a technology that can collect data from dynamic web pages. It can also automatically collect data from web pages that require specific actions, such as logging in, or from pages that require data to be retrieved after performing a specific action.
  • Additionally, the Scrapy framework is a technology used for professionally collecting large amounts of data. It offers a variety of features and, most importantly, boasts fast crawling speeds.

In this lecture, in addition to Selenium and Scrapy,
We also cover other crawling techniques, Headless Chrome and XPATH!
This course will help you master the basics of crawling, along with an introduction to Python and a crawling bootcamp.

* This course leverages the Python programming, IT fundamentals, and crawling skills learned in the Python Introduction and Crawling Basics bootcamps. By further exploring the Selenium and Scrapy frameworks, you'll not only solidify your existing skills through repetition, but also approach them from different angles, mastering all existing data collection techniques and solidifying your foundation in Python and data science data collection.


To help you become familiar with relevant application techniques in a short period of time
We provide lectures based on various codes and materials, step-by-step and technology-specific.

Don't waste your time!
It's not that we can't do something because we don't have the information!
Learn with proven courses!

Have you ever paid millions of won for a course that only taught grammar? We've designed the course to naturally build a solid foundation by providing practice problems and code patterns to help you become familiar with the concepts, ensuring they become ingrained in your brain and readily applicable to real-world applications.

This lecture is an improved version of the previous lecture.

We've designed this course to complement the shortcomings of existing lectures and provide more practice.
For this course, we've created a test site specifically for you to use and test various intermediate crawling techniques.

So that you can feel, 'Ah! It's really different!'
This is a lecture that is created through constant thought and improvement.

Be reasonable and considerate of each other
Only those who can form good relationships
Please take the class!

We're creating a roadmap to help you build the fundamentals step by step to prepare for a data and full-stack career.

Data Analytics/Science Course: Building a Solid Foundation for Data Analysts and Scientists

They are numbered according to the order in which they are learned.

  1. Introduction to Python and Data Collection (Crawling) Basics (Python, the Web, and Data Understanding Basics)
  2. Easy, Advanced Python Crawling for Beginners (Professional Crawling Techniques, Not Included in Data Roadmap)
  3. SQL and Data Storage/Analysis Basics (Learn SQL and store/analyze data)
  4. NoSQL (MongoDB) Big Data Basics (Learn NoSQL and Store/Analyze Big Data)
  5. Beginner Python Data Analysis (Data Preprocessing, Pandas, and Modern Visualization) [Data Science Part 1]
  6. Beginner Python Machine Learning Bootcamp (Easy! Learn concepts and applications through real-world problems) [Data Science Part 2]
  7. Deep Learning and PyTorch Bootcamp for Beginners [Data Science Part 3]

* We are also offering our current data science course packages at a discounted price (the discount will be reduced soon)
[Introductory to Beginner] Easily and Thoroughly Master the Basics of Data Science for Employment (Shortcut)

Full Stack Course: A Tech Tree to Create the Latest Web/App Services from A to Z on Your Own

They are numbered according to the order in which they are learned.

1. Python and Data Collection (Crawling) Basics (Python and the Web, Data Understanding Basics)
2. MySQL and Data Storage/Analysis Basics (Learn SQL and store/analyze data)
3. NoSQL (MongoDB) Big Data Basics (Learn NoSQL and Store/Analyze Big Data)
4. The Fastest Full Stack: Python Backend and Web Technology Fundamentals [Full Stack Part 1]
5. Solid Front-End Fundamentals for Full-Stack: JavaScript (Vanilla JS and ES6+) and Modern Web Technologies [Full-Stack Part 2]
6. Docker and Modern Server Technologies for Full-Stack (Linux, Nginx, AWS, HTTPS, Flask Deployment) [Full-Stack Part 3]
7. Flutter Basics for Full-Stack App Development (Full-Stack Part 4, scheduled to open in the first half of 2023)
8. Full-Stack Web, PC Program, and App Development Clone Coding Series (Full-Stack Part 5, scheduled for the second half of 2023)
9. A powerful, modern backend Go language for full-stack deployments (scheduled for the second half of 2023 )
As app and web technologies are rapidly changing, we are offering React and Vue lectures to stay ahead of the latest technologies.
We will proceed with flutter, the latest technology that supports web, PC programs, and apps.

* Full-stack course packages are also available at a discounted price. (Discounts will be reduced soon.)
[Beginner to Intermediate] The easiest, most up-to-date full-stack roadmap (shortcut)

Recommended for
these people

Who is this course right for?

  • For those who want to build the basics of data science and learn crawling, a data collection technique, step by step

  • For those who want to learn intermediate Python crawling techniques

Need to know before starting?

  • Python Introduction and Crawling Basics Bootcamp

Hello
This is

32,555

Learners

2,290

Reviews

1,949

Answers

4.9

Rating

13

Courses

잔재미코딩, Dave Lee

  • About 잔재미코딩 소개 블로그 [클릭]

  • 주요 경력: 쿠팡 수석 개발 매니저/Principle Product Manager, 삼성전자 개발 매니저 (경력 약 15년)

  • 학력: 고려대 일어일문 / 연세대 컴퓨터공학 석사 (완전 짬뽕)

  • 주요 개발 이력: 삼성페이, 이커머스 검색 서비스, RTOS 컴파일러, Linux Kernel Patch for NAS

  • 저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발, 누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서

  • 운영 사이트: 잔재미코딩 (http://www.fun-coding.org) [클릭]

  • 풀스택/데이터과학/AI 관련 무료 자료를 공유하는 사이트입니다.

  • 기타: 잔재미코딩 유투브 채널 [클릭] 

    • IT 학습에 도움이 되는 팁/ 짧은 무료 강의를 공유하고자, 조금씩 시작하고 있습니다~

최신 현업과 IT 강의를 병행하며, 8년째 꾸준히 견고한 풀스택, 데이터과학, AI 강의를 만들고 있습니다.

 

Curriculum

All

38 lectures ∙ (8hr 51min)

Course Materials:

Lecture resources
Published: 
Last updated: 

Reviews

All

45 reviews

4.7

45 reviews

  • gjwogur122664님의 프로필 이미지
    gjwogur122664

    Reviews 10

    Average Rating 5.0

    5

    100% enrolled

    Đúng như mong đợi, chương trình giảng dạy này cũng có nhiều thông tin. Thật vui khi có thể nghiên cứu và áp dụng các thư viện Python và các khung đại diện cùng nhau :) Tuy nhiên, bạn vẫn cần thời gian để xem xét và tự mình thực hiện nó. Sau bài giảng, tôi luôn đặt ra những vấn đề để áp dụng và học tập, và sự hiểu biết của tôi dường như cao hơn rất nhiều. Có thời điểm tôi không thể tiến bộ trong hai ngày vì không thể giải quyết được vấn đề mà tôi đang cố gắng giải quyết. Lúc đó, tôi lo lắng rằng tốc độ của mình sẽ chậm lại, nhưng thời gian trôi qua. , những ngày này thực sự đã giúp tôi nhiều hơn. Dave, cảm ơn vì những bài giảng tuyệt vời của bạn!

    • funcoding
      Instructor

      Ồ, đúng rồi. Tôi biết ID của Heokuk. Khoảng thời gian tôi suy nghĩ bấy lâu không phải là lãng phí thời gian mà là thời gian cần thiết. Tôi tin rằng khi bạn tìm kiếm nhiều tài liệu và cảm thấy mệt mỏi khi tìm kiếm và đọc những bài viết khác, bạn sẽ dần dần quen với quy trình và nó sẽ trở thành xương thịt của bạn. Thật tốt khi thấy bạn làm việc chăm chỉ.

  • leokwon32197님의 프로필 이미지
    leokwon32197

    Reviews 9

    Average Rating 5.0

    5

    100% enrolled

    Cảm ơn thầy vì những bài giảng luôn tử tế.

    • funcoding
      Instructor

      Cảm ơn bạn~ Tôi sẽ làm việc chăm chỉ hơn ở Janjaemi Coding!!🥰

  • jayhong님의 프로필 이미지
    jayhong

    Reviews 6

    Average Rating 4.5

    5

    100% enrolled

    Cảm ơn Giáo sư Dave Lee đã tạo nên một vòng luân hồi thông qua những bài giảng tuyệt vời! Đây là một bài giảng đầy tâm huyết và sự chân thành đối với các em học sinh. Tôi thực sự giới thiệu nó cho những ai muốn học cách bắt cá hơn là những người chỉ muốn giao cá cho họ! Tôi sẽ ủng hộ bạn và mong chờ những bài giảng tuyệt vời trong tương lai ~!!

    • funcoding
      Instructor

      Xin chân thành cảm ơn các bạn đã đồng cảm với ý định tạo ra bài giảng🥰 Tôi sẽ cố gắng hết sức trong tương lai👍

  • smlee2836님의 프로필 이미지
    smlee2836

    Reviews 9

    Average Rating 4.8

    5

    100% enrolled

    Ngày nay, việc Scraping rất thú vị nên tôi đã thử rất nhiều thứ và đã nghe một bài giảng về Scrapy. Khi nghe lời giải thích của người hướng dẫn, tôi bắt đầu quan tâm đến phân tích dữ liệu/khoa học. Tôi chưa có ý định trở thành nhà khoa học dữ liệu nhưng tôi dự định tham gia khóa học tiếp theo của bạn. Thật thú vị khi theo dõi vì anh ấy đã giải thích rõ nội dung chính và thậm chí còn chỉ ra những chỗ có thể mắc lỗi.

    • funcoding
      Instructor

      Cảm ơn bạn ^^ Học tập với sự hứng thú chắc chắn sẽ mang lại kết quả. Do đó, bạn có thể tiến bộ và mục tiêu của bạn có thể thay đổi. Hãy cùng nhau tận hưởng niềm vui trong bài giảng tiếp theo nhé!! Chiến đấu!!

  • dostudydo님의 프로필 이미지
    dostudydo

    Reviews 5

    Average Rating 5.0

    5

    100% enrolled

    Tiếp nối Phần 1 của Crawling, Phần 2 cũng rất mạnh mẽ! Lúc đầu, tôi chưa quen với kiến ​​thức cơ bản về bò nên tôi lo lắng không biết có nên nghe tiếp Phần 2 hay không, nhưng tôi đã vượt qua được Phần 2 chỉ trong một lần. Tôi có thể tham gia các lớp học vào thời gian rảnh rỗi khi đi học, đi làm và đi chơi cuối tuần cùng gia đình, vì vậy cảm giác thành tựu khi hoàn thành khóa học là không thể diễn tả được. Trước hết, tôi dự định tiếp tục giảng dạy cho đến tận Pandas. Trong tương lai, tôi dự định dành ít thời gian nghe bài giảng hơn và dành nhiều thời gian hơn để tiếp thu các kỹ thuật thu thập thông tin mà tôi đã học được cho đến nay bằng cách áp dụng từng cái một. các trang web tôi muốn thu thập thông tin. Tôi nghĩ việc học Pandas chắc chắn sẽ giúp ích cho tôi rất nhiều trong công việc. Tôi không thể uống hết ly rượu đầu tiên nên tôi sẽ cố gắng làm điều đó từng chút một trong ba năm tới. Chắc chắn những điều tốt đẹp sẽ xảy ra phải không? Xin thầy giữ sức khỏe và tạo ra nhiều bài giảng hay trong tương lai! Cảm ơn!

    • funcoding
      Instructor

      Wow, chúc mừng bạn đã đến được Phần 2!! Chỉ cần bạn làm việc chăm chỉ, bạn sẽ nhận được kết quả tốt. Sự kiên định là một vũ khí tuyệt vời ^^

Access is restricted to non-public courses.
Private Course

funcoding's other courses

Check out other courses by the instructor!

Similar courses

Explore other courses in the same field!