강의

멘토링

로드맵

BEST
Data Science

/

Data Engineering

Hiện tại, công nghệ trích xuất dữ liệu mạnh nhất: Khám phá Scrapy và Selenium

Đối với những ai muốn học về khoa học dữ liệu, dữ liệu lớn và trích xuất dữ liệu - Chúng tôi đã biên soạn nhiều ví dụ để bạn có thể nhanh chóng làm quen với các kỹ thuật trích xuất dữ liệu mới nhất và tốt nhất hiện nay.

(4.9) 112 đánh giá

1,261 học viên

  • funcoding
Web Crawling
Scrapy
Selenium

Đánh giá từ những học viên đầu tiên

Dịch cái này sang tiếng Việt

  • Thu thập dữ liệu bằng Selenium/Headless Chrome/PhantomJS

  • Thu thập dữ liệu bằng cách điều khiển trình duyệt theo chương trình

  • Crawl bằng Scrapy

  • Cào trang web động

20.000 người đã đăng ký lớp học trực tuyến và ngoại tuyến!
Dễ dàng học công nghệ thu thập dữ liệu (thu thập dữ liệu) mạnh mẽ nhất hiện có
Bài giảng rất đầy đủ

Khóa học này là khóa học có hệ thống để tìm hiểu các kỹ thuật thu thập dữ liệu Python và thu thập dữ liệu cùng với Khóa học giới thiệu về Python và Khóa học cơ bản về thu thập dữ liệu . Đây là bài giảng đặc biệt được tạo ra với mục đích hướng đến quan điểm của sinh viên nhiều nhất có thể , đồng thời diễn ra song song với công việc của họ và là bài giảng mà bạn có thể học từng chức năng một trong thời gian ngắn, cùng với bài giảng và xây dựng thêm khả năng xử lý dữ liệu của bạn .

# Kỹ thuật bò nào nhanh nhất và ổn định nhất?

Các kỹ thuật Python cơ bản nhất là những kỹ thuật sử dụng các yêu cầu và thư viện BeautifulSoup. Tuy nhiên, có nhiều trường hợp việc thu thập dữ liệu trở nên khó khăn khi chỉ sử dụng các công nghệ liên quan cho từng trang web. Các công nghệ được sử dụng trong trường hợp này là Selenium và Headless Chrome. Các công nghệ liên quan cho phép thu thập dữ liệu ngay cả trong những môi trường yêu cầu xử lý đặc biệt, chẳng hạn như các trang web yêu cầu đăng nhập. Ngoài ra, khi thu thập một lượng lớn dữ liệu một cách đáng tin cậy thay vì chỉ thu thập một trang web duy nhất, một khuôn khổ có tên là Scrapy sẽ được sử dụng. Scrapy là công nghệ thu thập dữ liệu nhanh nhất và đáng tin cậy nhất.

# Có khó không? Tôi cần biết bao nhiêu? Có thể thực hiện điều này trên máy tính của tôi không?

Nếu bạn có thể hiểu được những điều cơ bản về lập trình Python và thu thập dữ liệu, chúng tôi đã sắp xếp chúng để bạn có thể thu thập các ví dụ thực sự có thể thu thập dữ liệu, tập trung vào các phần cốt lõi và sử dụng chúng ngay lập tức. Ngoài ra, vì công nghệ liên quan gần với công nghệ sử dụng hơn là công nghệ cần được hiểu sâu, nếu bạn đặt ra phạm vi và tìm hiểu từng bước, tập trung vào các phần cần được hiểu, bạn có thể học được. dễ dàng hơn và trong thời gian ngắn hơn.

* Khóa học này sẽ giúp bạn học các công nghệ phức tạp liên quan một cách dễ dàng trong thời gian ngắn! Nó được cấu trúc để bạn có thể học được .

# Tôi không có kiến ​​thức cơ bản về lập trình Python và crawling. Tôi có thể học một cách có hệ thống không?

Khóa học này phù hợp với lộ trình phân tích dữ liệu/khoa học được mô tả ở cuối phần giới thiệu chi tiết này. Nếu bạn học khóa học này cùng với Python Introduction và Crawling Basics Bootcamp, bạn sẽ học một cách có hệ thống từ những điều cơ bản đến công nghệ thu thập dữ liệu hoặc phân tích dữ liệu/khoa học công nghệ tuần tự. Nó đã được cấu hình để cho phép điều này.

Đặc biệt, lập trình Python và cơ bản về thu thập dữ liệu được cung cấp riêng thông qua các lớp học trại hè Python Introduction và Crawling Basics , và thông qua hai môn học này, ngay cả những người chưa từng biết đến Python hoặc thu thập dữ liệu cũng có thể theo dõi từ dưới lên, bắt đầu bằng việc cài đặt chương trình trong mỗi Windows /Môi trường Mac. Chúng tôi đã giải thích mọi thứ, bao gồm kiến ​​thức cơ bản về web.

# Tôi muốn tìm hiểu tất cả các công nghệ khác nhau liên quan đến thu thập dữ liệu, một công nghệ thu thập dữ liệu. Tôi có thể làm điều đó như thế nào?

Bạn có thể tìm hiểu tất cả các công nghệ thu thập dữ liệu hiện có thông qua Trại huấn luyện giới thiệu về Python và Cơ bản về thu thập dữ liệu cũng như khóa học này.

# Tôi nên học các kỹ thuật thu thập dữ liệu ở mức độ nào để phục vụ cho mục đích phân tích/khoa học dữ liệu?

Bạn chỉ cần học đến trình độ được đề cập trong khóa học Giới thiệu về Python và Khóa học cơ bản về thu thập thông tin cũng như bài giảng này. Ngoài ra, cả hai bài giảng đều đề cập đến kiến ​​thức nền tảng cần thiết để tìm hiểu các công nghệ liên quan (HTML/CSS tạo nên web), nhiều định dạng dữ liệu cần thiết để xử lý dữ liệu trong lập trình và thậm chí cả cách sử dụng Open API. Nhờ đó, bạn có thể tự nhiên làm quen với cách xử lý dữ liệu trong lập trình.

* Ngoài ra, khi tiến hành phân tích dữ liệu/công trình khoa học trong tương lai, điều khó khăn nhất thực sự là thu thập được dữ liệu tôi muốn. Với khóa học này và trại huấn luyện Python Introduction và Crawling Basics, bạn sẽ được trang bị vũ khí mạnh mẽ nhất để có được dữ liệu bạn muốn và bạn sẽ trở thành một nhà khoa học/phân tích dữ liệu có năng lực và cạnh tranh hơn nhiều.

Để giúp bạn làm quen với các công nghệ ứng dụng có liên quan trong thời gian ngắn
Chúng tôi cung cấp các bài giảng dựa trên nhiều mã và tài liệu khác nhau, theo từng bước/công nghệ.

Đừng lãng phí thời gian của bạn!
Không phải là chúng ta không thể làm được điều gì đó vì chúng ta không có thông tin!
Học với các bài giảng đã được chứng minh!

Đã có người nào trả hàng triệu won tiền học phí để tham gia một lớp học chỉ dạy ngữ pháp chưa? Khi bạn nghe lớp học, bạn sẽ tự nhiên lặp lại nó, và nó sẽ ăn sâu vào đầu bạn. Nó thậm chí sẽ được mô phỏng để có thể sử dụng trong thực tế, vì vậy bạn có thể sử dụng nó như vậy! Nó có thể được điều chỉnh để phù hợp với nhiều trường hợp khác nhau và các kỹ năng cơ bản có thể được xây dựng đúng cách. Một chương trình giảng dạy dành cho sinh viên theo học ngành khoa học xã hội và thậm chí còn tính đến thời gian giảng dạy. Bài giảng này được tạo ra sau nhiều suy nghĩ vì tôi rất thích các bài giảng trực tuyến.

Thu thập dữ liệu bằng cách thao tác trình duyệt và chuột với Selenium (Ví dụ về Thu thập dữ liệu bình luận tin tức tiếp theo)

Nếu bạn tò mò về chương trình giảng dạy có hệ thống, tôi khuyên bạn nên tham gia các bài giảng về thu thập dữ liệu, phân tích dữ liệu và cơ sở dữ liệu.

'À! Thật sự khác biệt!' Đây là loạt bài giảng về CNTT mà tôi đã dày công biên soạn để bạn có thể cảm nhận được điều đó.
Chỉ những người lý trí, biết quan tâm đến nhau và có thể xây dựng được mối quan hệ tốt đẹp
Hãy tham gia lớp học nhé!

Các khóa học hiện đang mở hoặc dự kiến ​​mở trên Inflearn

Khóa học Full Stack: Tech Tree sẽ giúp bạn tự tạo các dịch vụ web/ứng dụng mới nhất từ ​​A đến Z

Chúng được đánh số theo thứ tự chín.

1. Cơ bản về Python và thu thập dữ liệu (thu thập dữ liệu) (Python và web, cơ bản về hiểu biết dữ liệu)
2. MySQL và lưu trữ dữ liệu/phân tích cơ bản (SQL Database Basics)
3. Cơ bản về dữ liệu lớn NoSQL(mongodb) (Cơ bản về cơ sở dữ liệu NoSQL)
4. Fastest Full Stack: Python Backend và Công nghệ Web Cơ bản [Full Stack Phần 1]
5. Cơ sở vững chắc về Front-end cho Full Stack: Javascript (Vanilla JS và ES6+) và các công nghệ web mới nhất [Full Stack Phần 2]
6. Docker và công nghệ máy chủ mới nhất cho full stack (Linux, nginx, AWS, HTTPS, triển khai flask) [Full Stack Phần 3]
7. Flutter Basics for Full Stack App Development (Full Stack Phần 4, dự kiến ​​mở vào nửa cuối năm 2021)
8. Vue hoặc React Framework cơ bản cho Full Stack (Full Stack Phần 5, dự kiến ​​vào nửa cuối năm 2021)

Do công nghệ ứng dụng/web đang thay đổi nhanh chóng nên chúng tôi đã điều chỉnh các ưu tiên của mình. Để đi đầu trong các công nghệ mới nhất, trước tiên chúng ta sẽ tập trung vào Flutter, công nghệ mới nhất hỗ trợ cả web và ứng dụng.

* Các gói khóa học đầy đủ cũng có sẵn với mức giá ưu đãi. (Mức chiết khấu sẽ sớm được giảm.)
[Người mới bắt đầu~Trung cấp] Lộ trình full-stack dễ nhất và mới nhất (phím tắt)

Khóa học Phân tích dữ liệu/Khoa học: Công nghệ mới nhất có thể đưa dữ liệu bạn muốn vào, phân tích dữ liệu và thậm chí đưa ra dự đoán.

Chúng được đánh số theo thứ tự chín.

1. Cơ bản về Python và thu thập dữ liệu (thu thập dữ liệu) (Python và web, cơ bản về hiểu biết dữ liệu)
2. Chinh phục Scrapy và Selenium (Công nghệ trung gian thu thập dữ liệu tiên tiến nhất hiện nay và kiến ​​thức CNTT liên quan)
3. Cơ bản về SQL và Lưu trữ/Phân tích dữ liệu (Lưu trữ/Phân tích dữ liệu)
4. NoSQL(mongodb) Cơ bản về dữ liệu lớn (Lưu trữ/Phân tích dữ liệu lớn)
5. Phân tích dữ liệu Python đầu tiên (Xử lý dữ liệu trước và Pandas, Hình ảnh hóa mới nhất) [Khoa học dữ liệu Phần 1]
6. Trại huấn luyện Python Machine Learning dành cho người mới bắt đầu (Dễ! Học các khái niệm/ứng dụng với các vấn đề thực tế) [Khoa học dữ liệu Phần 2]
7. Trại huấn luyện trí tuệ nhân tạo AI (Tự động hóa dự đoán dữ liệu, nửa đầu của 22') [Khoa học dữ liệu Phần 3]

* Chúng tôi cũng cung cấp các gói bài giảng khoa học dữ liệu hiện tại với mức giá ưu đãi. (Mức chiết khấu sẽ sớm được giảm.)
[Người mới bắt đầu~Người mới bắt đầu] Dễ dàng học các kỹ năng phân tích dữ liệu cơ bản để làm việc! Học kỹ (phím tắt)

 

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Dành cho những ai muốn học cách thu thập dữ liệu đúng cách như một kỹ năng khoa học dữ liệu cơ bản

  • Dành cho những ai muốn học các kỹ thuật thu thập dữ liệu mới nhất

Cần biết trước khi bắt đầu?

  • Python nhập môn và cơ sở về trích xuất dữ liệu bootcamp (hơn 5.000 người tham gia trực tuyến và ngoại tuyến) cần tuyển giảng viên

Xin chào
Đây là

32,644

Học viên

2,307

Đánh giá

1,949

Trả lời

4.9

Xếp hạng

13

Các khóa học

잔재미코딩, Dave Lee

  • About 잔재미코딩 소개 블로그 [클릭]

  • 주요 경력: 쿠팡 수석 개발 매니저/Principle Product Manager, 삼성전자 개발 매니저 (경력 약 15년)

  • 학력: 고려대 일어일문 / 연세대 컴퓨터공학 석사 (완전 짬뽕)

  • 주요 개발 이력: 삼성페이, 이커머스 검색 서비스, RTOS 컴파일러, Linux Kernel Patch for NAS

  • 저서: 리눅스 커널 프로그래밍, 리눅스 운영 체제의 이해와 개발, 누구나 쓱 읽고 싹 이해하는 IT 핵심 기술, 왕초보를 위한 파이썬 프로그래밍 입문서

  • 운영 사이트: 잔재미코딩 (http://www.fun-coding.org) [클릭]

  • 풀스택/데이터과학/AI 관련 무료 자료를 공유하는 사이트입니다.

  • 기타: 잔재미코딩 유투브 채널 [클릭] 

    • IT 학습에 도움이 되는 팁/ 짧은 무료 강의를 공유하고자, 조금씩 시작하고 있습니다~

최신 현업과 IT 강의를 병행하며, 8년째 꾸준히 견고한 풀스택, 데이터과학, AI 강의를 만들고 있습니다.

 

Chương trình giảng dạy

Tất cả

42 bài giảng ∙ (8giờ 57phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

112 đánh giá

4.9

112 đánh giá

  • kwansoonkr0678님의 프로필 이미지
    kwansoonkr0678

    Đánh giá 5

    Đánh giá trung bình 4.0

    5

    98% đã tham gia

    Theo tôi, đây là khóa học cơ bản về crawl tốt nhất. Tôi phải nhanh chóng tiếp thu các kỹ năng cho luận án của mình, nhưng nó không dễ như tôi nghĩ. Tôi đã tham gia các bài giảng khác (ở nước ngoài) và đọc sách... nhưng sau khi tham gia bài giảng này hai lần, giờ tôi có thể thu thập dữ liệu mình cần! Cảm ơn! Chúc may mắn! Giảng viên~

    • funcoding
      Giảng viên

      Xin chào, cảm ơn bạn rất nhiều vì đã viết một bài đánh giá khóa học tuyệt vời như vậy. Một trong những mục tiêu của khóa học này là giúp học viên nhanh chóng tự chế tạo các bộ phận cần thiết trong một khoảng thời gian ngắn, vì sẽ mất rất nhiều thời gian để tự học các kỹ năng cần thiết. Tôi rất vui và hạnh phúc vì điều đó. bạn đã để lại một đánh giá có giá trị và hoàn hảo cho mục đích này. Cảm ơn

  • vangogh36590933님의 프로필 이미지
    vangogh36590933

    Đánh giá 2

    Đánh giá trung bình 5.0

    5

    62% đã tham gia

    Tôi đã tham gia lớp học được 3 năm!! Người hướng dẫn tuyệt vời nhất trong đời tôi~ 5 điểm cho lòng tốt / 5 điểm cho lời giải thích / 4,5 điểm cho giọng nói -> Làm tròn 5 điểm/Lựa chọn ví dụ 5 điểm

    • funcoding
      Giảng viên

      ^^ Cảm ơn bạn vì điểm cao Bạn là một sinh viên luôn ở bên tôi ~! Tôi sẽ làm việc chăm chỉ hơn nữa~

  • iamjaylee2195322님의 프로필 이미지
    iamjaylee2195322

    Đánh giá 2

    Đánh giá trung bình 5.0

    5

    100% đã tham gia

    Tôi đã có rất nhiều niềm vui khi học ở trình độ sơ cấp và tôi cũng đã học được trình độ trung cấp và nó rất tốt! Tôi bắt đầu sau khi bài giảng ra một chút nên có rất nhiều thay đổi (tôi đã cố gắng áp dụng và tự mình thử nghiệm, nhưng đến cuối cùng tôi vẫn thất bại ở một số điểm). hiểu dòng chảy cơ bản. Bây giờ chúng ta chuyển sang bài giảng nâng cao và tôi hy vọng rằng bài giảng này sẽ là cơ hội để khắc phục những điểm mà tôi đã thất bại khi thay đổi máy chủ ở trình độ trung cấp.

    • funcoding
      Giảng viên

      Cảm ơn bạn ~ ^^ Bạn đang tiến bộ. Tôi ủng hộ bạn trên hành trình phát triển của mình!!

  • choihyeok님의 프로필 이미지
    choihyeok

    Đánh giá 19

    Đánh giá trung bình 5.0

    5

    100% đã tham gia

    Bài giảng hay nhất

    • funcoding
      Giảng viên

      Cảm ơn bạn đã đánh giá tốt. Tôi hiểu bạn thấy nó hữu ích. Cảm ơn

  • ebonny0255님의 프로필 이미지
    ebonny0255

    Đánh giá 3

    Đánh giá trung bình 5.0

    5

    81% đã tham gia

    Dễ hiểu

Truy cập bị hạn chế đối với các khóa học không công khai.
Khóa học riêng tư

Khóa học khác của funcoding

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!