Hiện tại, công nghệ trích xuất dữ liệu mạnh nhất: Khám phá Scrapy và Selenium

Xin chào. Đây là Dave Lee của Janjaemi Coding.

Lần này, chúng tôi sẽ chia sẻ kế hoạch cải thiện bài giảng của mình.

Tôi nghĩ rằng đã 4 năm kể từ khi khóa học này mở ra. Mục đích ban đầu là giúp người dùng làm quen với các công nghệ thu thập thông tin và liên quan đến CNTT thông qua nhiều ví dụ đa dạng nhất từ ​​các trang web thực tế. Trên thực tế, vì đây là một trang web trong thế giới thực nên nhiều trang web đã thay đổi trong thời gian chờ đợi, vì vậy tôi đã chia sẻ mã đã thay đổi cho từng trang web nhiều nhất có thể, nhưng tôi nghĩ hiện tại tôi đã đạt đến giới hạn của mình.

Tất nhiên, tôi nghĩ rằng việc hiển thị ví dụ về các trường hợp khác nhau sẽ hữu ích trong việc phát triển khả năng của bạn khi bạn thực sự muốn thu thập dữ liệu trang web mà bạn muốn. Tuy nhiên, vì có hai loại người tham gia bài giảng này: những người muốn xây dựng sự nghiệp CNTT và những người không muốn chỉ bò, tôi nghĩ loại sau sẽ thất vọng hơn một chút.

Vì vậy, mặc dù thật đáng tiếc khi hiển thị nhiều trang web khác nhau, tôi sẽ từ bỏ và viết mã và cập nhật bài giảng để tôi có thể kiểm tra phần Selenium dựa trên trang blog mà cá nhân tôi tạo ra cho mục đích thử nghiệm.

Vì hiện tại mình đang đi làm nên khó có thể tiến hành vội phần này nhưng mình sẽ cố gắng cập nhật trong vòng tháng 11 nếu có thể và sẽ thông báo lại cho các bạn.

Đối với những người đã tham gia một số bài giảng về Mã hóa Janjaemi, sẽ rất tốt nếu bạn suy nghĩ tích cực rằng bạn đang nhận được những bài giảng bổ sung theo một cách nào đó. Tôi sẽ luôn cố gắng hết sức để đảm bảo rằng những người chọn bài giảng của tôi sẽ có trải nghiệm tốt, ít nhất là không làm họ thất vọng.

Cảm ơn bạn.~~~

Xin chào.

Sau một thời gian dài chuẩn bị, giờ đây tôi sẵn sàng 100% chia sẻ khóa học đào tạo về máy học Python đầu tiên của mình.
Khai giảng khóa học bị chậm trễ nên trong thời gian khai giảng đã đưa ra mức chiết khấu tối đa.

Bài giảng này được tạo ra bằng cách cải thiện những phần tôi đã thực hiện thông qua quá trình thử và sai.
Cách đây 7 năm, tôi bắt đầu học công nghệ máy học/trí tuệ nhân tạo. Lúc đầu, tôi thử học công nghệ trí tuệ nhân tạo, nhưng sau khi chỉ nghe nguyên lý của trí tuệ nhân tạo trong một thời gian dài, tôi cảm thấy mệt mỏi và bỏ cuộc. Tôi đã thử học lại học máy, nhưng tôi đã bỏ cuộc sau khi chỉ học các chứng minh toán học và đại số tuyến tính.

Bây giờ nhìn lại, tôi nghĩ việc học trí tuệ nhân tạo hoặc công nghệ máy học sẽ dễ dàng hơn nhiều nếu tôi làm theo các bước dưới đây.
Python -> gấu trúc -> Các khái niệm chính về học máy + các kỹ thuật thực tế khác nhau để ứng dụng thực tế học máy -> Trí tuệ nhân tạo

Học máy chứa các khái niệm cơ bản nhất, bao gồm cả trí tuệ nhân tạo. Ngoài ra còn có những suy nghĩ đặc biệt liên quan đến điều này. Ngoài ra còn có nhiều kỹ thuật đặc biệt được sử dụng khi áp dụng khái niệm và thực hành học máy vào các vấn đề trong thế giới thực. Nếu bạn lần đầu tiên học và áp dụng các khái niệm và kỹ thuật chính được áp dụng cho các vấn đề thực tế cũng như làm quen với ứng dụng học máy, thì sự hiểu biết của bạn về các công nghệ liên quan sẽ tăng lên. Nếu bạn học công nghệ trí tuệ nhân tạo dựa trên điều này, bạn sẽ có thể học và sử dụng nó một cách dễ dàng và tổng thể hơn.

Học máy rất rộng lớn và khi nói đến phần toán học, nó có tính chất là một tập hợp của một số ngành, vì vậy tôi lo lắng về việc làm cách nào để có thể tổ chức tốt phần này, tập trung vào nó và học nó cùng với các kỹ thuật được sử dụng trong vấn đề thực sự. Đây là một bài giảng tôi đã tạo ra. Không thể tránh khỏi, vì đây là khóa học chưa từng tồn tại trước đây nên phải mất rất nhiều thời gian.

Ngay cả với tư cách là một nhà phát triển, máy học/trí tuệ nhân tạo dường như là một công nghệ mơ hồ mà người ta có thể bỏ lỡ. Khóa học này không nhằm mục đích trở thành một trong 1% chuyên gia về học máy hàng đầu thế giới. Vì có bước. Ngay cả các nhà phát triển cũng có thể hiểu và sử dụng công nghệ máy học và những người đang cân nhắc sự nghiệp trong lĩnh vực khoa học dữ liệu có thể nhanh chóng làm quen với công nghệ liên quan, vì vậy chúng tôi mong muốn cung cấp một bài giảng làm bước đệm cho sự nghiệp khoa học dữ liệu.

Trong thời gian tới, chúng tôi sẽ chuẩn bị và mở các bài giảng về trí tuệ nhân tạo theo lộ trình dữ liệu như sau.
Tôi hy vọng nó sẽ hữu ích và bài giảng sẽ rất ấn tượng.
Cảm ơn

Lộ trình khoa học dữ liệu

1. Khái niệm cơ bản về Python và thu thập dữ liệu (thu thập dữ liệu) (Cơ bản về Python, web và hiểu dữ liệu)
2. Chinh phục Scrapy và Selenium (hiện là kỹ năng crawl trung cấp tốt nhất và kiến ​​thức CNTT liên quan)
3. Khái niệm cơ bản về lưu trữ/phân tích dữ liệu và SQL (lưu trữ/phân tích dữ liệu)
4. Khái niệm cơ bản về dữ liệu lớn của NoSQL (mongodb) (lưu trữ/phân tích dữ liệu lớn)
5. Phân tích dữ liệu Python lần đầu tiên (tiền xử lý dữ liệu, gấu trúc, trực quan hóa mới nhất) [Khoa học dữ liệu Phần1]
6. Chương trình đào tạo về học máy Python lần đầu tiên (Dễ dàng! Tìm hiểu các khái niệm/cách sử dụng với các vấn đề thực tế) [Khoa học dữ liệu Phần2]
7. Chương trình đào tạo về trí tuệ nhân tạo AI (Tự động hóa dự đoán dữ liệu, Nửa đầu của 22’) [Khoa học dữ liệu Phần 3]

• Nếu bạn đã là nhà phát triển, bạn cần phải làm quen hoàn toàn với Docker và các công nghệ mới nhất, vì chúng đóng vai trò là nền tảng cho Kubernetes, một trong những công nghệ máy chủ mới nhất và công nghệ triển khai dựa trên nhóm .
• Nếu bạn vẫn đang trong quá trình trở thành nhà phát triển, cá nhân tôi nghĩ rằng việc có thể xử lý Docker và máy chủ là bước đầu tiên để trở thành nhà phát triển thành công .

• Bài giảng tiếp theo là bài giảng về máy học và dự kiến ​​vào cuối tháng 6.
• Đối với dòng Full Stack, Flutter 2.0 gần đây đã được phát hành. Flutter cho phép bạn tạo các ứng dụng/web/chương trình PC cùng một lúc, vì vậy tôi nghĩ cần phải xem xét xu hướng. Nếu nó được đánh giá là hữu ích trên thị trường ở một mức độ nào đó, tôi đang nghĩ đến việc vượt ra ngoài các công nghệ web như React hay Vue và học Flutter trước tiên. Chúng tôi sẽ chia sẻ điều này một cách chi tiết trong khi xem xét các xu hướng kể từ tháng Sáu.

Các khóa giảng dạy hiện đang mở hoặc dự kiến ​​mở tại Infron

Khóa học Full Stack: Cây công nghệ cho phép bạn tự mình tạo các dịch vụ web/ứng dụng mới nhất từ ​​​​A đến Z

Chúng được đánh số theo thứ tự chúng được học.

1. Khái niệm cơ bản về Python và thu thập dữ liệu (thu thập dữ liệu) (Cơ bản về Python, web và hiểu dữ liệu)
2. Khái niệm cơ bản về MySQL và lưu trữ/phân tích dữ liệu (Cơ bản về cơ sở dữ liệu SQL)
3. Khái niệm cơ bản về dữ liệu lớn NoSQL (mongodb) (Cơ bản về cơ sở dữ liệu NoSQL)
4. Full stack nhanh nhất: Phần phụ trợ Python và công nghệ web cơ bản [Full Stack Part1]
5. Kiến thức cơ bản về front-end vững chắc cho full stack: javascript (Vanilla JS và ES6+) và công nghệ web mới nhất [Full Stack Part2]
6. Docker và công nghệ máy chủ mới nhất cho full stack (Linux, nginx, AWS, HTTPS, phân phối bình) [Full Stack Part3]
7. Flutter cơ bản để phát triển ứng dụng full-stack (Full-stack Phần 4, dự kiến ​​ra mắt vào nửa sau của 21’)
8. Framework Vue hoặc React cơ bản cho full stack (Full stack Phần 5, dự kiến ​​vào nửa sau của 21’)

Vì công nghệ ứng dụng/web đang thay đổi nhanh chóng nên chúng tôi đã điều chỉnh các ưu tiên của mình. Để tận dụng công nghệ mới nhất, trước tiên chúng ta sẽ tiến hành rung, công nghệ mới nhất hỗ trợ cả web và ứng dụng.

* Cho đến nay, chúng tôi cũng cung cấp gói bài giảng đầy đủ với mức giá chiết khấu. (Mức chiết khấu sẽ giảm sớm.)
[Giới thiệu ~ Trung cấp] Công nghệ dễ nhất và cập nhật nhất để tìm hiểu lộ trình toàn diện (Phím tắt)

Khóa học khoa học/phân tích dữ liệu: Cây công nghệ mới nhất cho phép bạn nhập dữ liệu mong muốn, phân tích và thậm chí đưa ra dự đoán

Chúng được đánh số theo thứ tự chúng được học.

1. Khái niệm cơ bản về Python và thu thập dữ liệu (thu thập thông tin) (Cơ bản về Python, web và hiểu dữ liệu)
2. Chinh phục Scrapy và Selenium (hiện là kỹ năng crawl trung cấp tốt nhất và kiến ​​thức CNTT liên quan)
3. Khái niệm cơ bản về lưu trữ/phân tích dữ liệu và SQL (lưu trữ/phân tích dữ liệu)
4. Khái niệm cơ bản về dữ liệu lớn của NoSQL (mongodb) (lưu trữ/phân tích dữ liệu lớn)
5. Phân tích dữ liệu Python lần đầu tiên (tiền xử lý dữ liệu, gấu trúc, trực quan hóa mới nhất)
6. Khái niệm cơ bản về học máy (dự đoán dữ liệu, ngày 21 tháng 6)
7. AI Cơ bản về trí tuệ nhân tạo (tự động hóa dự đoán dữ liệu, nửa sau của 21’)

* Chúng tôi cũng cung cấp các gói bài giảng khoa học dữ liệu hiện tại với mức giá chiết khấu. (Mức chiết khấu sẽ giảm sớm.)
[Giới thiệu~Người mới bắt đầu] Kỹ năng phân tích dữ liệu cơ bản cho việc làm trở nên dễ dàng! Tìm hiểu kỹ lưỡng (Phím tắt)

 

Xin chào.

Đây là Dave Lee của Janjaemi Coding.

Video 'Bò qua G Market và học cách sử dụng Scrapy trong thực tế 5' đã được cập nhật thêm phần giải thích.

Có phần giải thích mã cho phần gọi phân tích cú pháp_subcategory trong video.

Nếu bạn viết phần này bằng mã của riêng bạn chứ không phải mã tôi đã cung cấp cho bạn, bạn sẽ cần thực hiện các cài đặt sau trong settings.

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

Tôi nghĩ tôi đã giải thích phần này ở đâu đó trong một video khác.

Tôi nghĩ có thể mình đã bỏ sót điều gì đó nên đã dành rất nhiều thời gian để ghi lại và chỉnh sửa lại.

Tôi chia sẻ nó vì tôi nghĩ nó sẽ giúp bạn hiểu rõ hơn.

Cảm ơn

Xin chào. Đây là Dave Lee (Janjaemi Coding).

Lâu lắm rồi tôi mới chia sẻ tin tức về bài giảng mới.

Phân tích dữ liệu Python lần đầu tiên [Dễ dàng học các kỹ năng cơ bản của toàn bộ quá trình từ tiền xử lý, gấu trúc và trực quan hóa]

Đây là bài giảng nơi bạn có thể tìm hiểu mọi thứ từ quá trình tiền xử lý dữ liệu bằng Python, gấu trúc và hình ảnh trực quan mới nhất (có cốt truyện).

1. Chúng tôi phân tích các ví dụ thực tế từ đầu đến cuối và giải thích các công nghệ liên quan để bạn có thể bắt đầu phân tích bất kỳ dữ liệu nào ngay sau khi tham gia lớp học.

2. Pandas có cú pháp khá phức tạp và ngay cả khi bạn có thể lập trình nó thì cũng không dễ để sử dụng nó ngay lập tức. Tuy nhiên, đây không phải là điều có thể làm được trong Excel... Phần này được thiết kế để ngay cả những người mới bắt đầu cũng có thể hiểu và sử dụng ngay làm ví dụ thực tế.

3. Về mặt trực quan, các công nghệ hiện có đã quá cũ nên có nhiều trường hợp hoạt động chưa tốt, không dễ diễn đạt. Vì vậy, chúng tôi giải thích để bạn có thể dễ dàng sử dụng công nghệ trực quan mới nhất, dễ vận hành, hữu ích cho việc phân tích và đẹp mắt (tôi thích nó).

4. Ở đây, chúng tôi đã đưa ra những lời khuyên cần thiết khi phân tích dữ liệu thực tế tại hiện trường.

Cuối cùng, khi số lượng bài giảng tăng lên, một số người hỏi về thứ tự nên học, vì vậy chúng tôi đang chia sẻ thứ tự và hướng đi trong tương lai của Phân tích dữ liệu/Theo dõi khoa học và Theo dõi toàn bộ như sau (Khoa học dữ liệu + Toàn bộ ngăn xếp , Hay quá phải không?) Chúng tôi đang chuẩn bị mở những bài giảng hay nhất về Infron.

Cá nhân tôi, khi tôi mở đầu bài giảng, những người cảm thấy bài giảng của tôi có ích
Một khi công nghệ là của bạn mà không cần phải lo lắng hay rắc rối nhiều,
Tôi nghĩ sẽ thật tuyệt nếu bạn cảm thấy mình có thể sử dụng nó ngay lập tức. Cảm ơn bạn.~~~

Khóa học khoa học/phân tích dữ liệu

1. Giới thiệu về Python và chương trình đào tạo thu thập dữ liệu cơ bản (Cơ bản về Python và thu thập dữ liệu)
2. Master Scrapy và Selenium (kỹ năng thu thập dữ liệu trung cấp và kiến ​​thức CNTT liên quan)
3. Khái niệm cơ bản về lưu trữ/phân tích dữ liệu và SQL (lưu trữ/phân tích dữ liệu)
4. Khái niệm cơ bản về dữ liệu lớn của NoSQL (mongodb) (lưu trữ/phân tích dữ liệu lớn)
5. Khái niệm cơ bản về phân tích dữ liệu Python (phân tích dữ liệu)
6. Kiến thức cơ bản về học máy/trí tuệ nhân tạo (dự đoán dữ liệu, chúng tôi đang nỗ lực chuẩn bị)

Khóa học đầy đủ

1. Khái niệm cơ bản về Python và thu thập dữ liệu (thu thập dữ liệu) (Cơ bản về Python, web và hiểu dữ liệu)
2. Khái niệm cơ bản về SQL và lưu trữ/phân tích dữ liệu (Cơ bản về cơ sở dữ liệu SQL)
3. Khái niệm cơ bản về dữ liệu lớn NoSQL (mongodb) (Cơ bản về cơ sở dữ liệu NoSQL)
4. Backend Cơ bản và Trung cấp (Chúng tôi đang nỗ lực chuẩn bị)
5. Cơ bản về front-end và trình độ trung cấp (chúng tôi đang nỗ lực chuẩn bị)
6. Khái niệm cơ bản về ngăn xếp đầy đủ và mã hóa bản sao (chúng tôi đang nỗ lực chuẩn bị)

Xin chào. Đây là Dave Lee của Janjaemi Coding.

Khi tạo khóa học, tôi đã cố gắng làm cho nó để học viên có thể học và sử dụng tài liệu khóa học nhanh nhất có thể. Vì vậy, tôi hiểu rằng học sinh đang tải tài liệu xuống và sử dụng tốt. Tuy nhiên, có vẻ như một số người vẫn chưa biết cách tải tài liệu liên quan đến bài giảng từ Infron nên chúng tôi chia sẻ lại như một thông báo mới.

Bạn có thể tải tài liệu phù hợp cho từng bài giảng bằng cách nhấn vào mục lục ở góc trên bên phải và nhấn vào biểu tượng download ở bên trái mục lục của từng bài giảng.

Vì tài liệu phù hợp với từng bài giảng được khớp với từng bài giảng và tải lên từng bài một nên hiệu quả học tập sẽ cao hơn nếu bạn tải tài liệu phù hợp với từng bài giảng và tham dự các buổi giảng. Vâng, tôi hy vọng điều này sẽ giúp ích. Cảm ơn

Xin chào. Đây là Dave Lee. Tôi chúc bạn một năm mới hạnh phúc.

Có thể có trường hợp Selenium không chạy tùy thuộc vào môi trường PC, vì vậy chúng tôi sẽ chia sẻ một số phương pháp để thử về vấn đề này.

Trước hết, trong Windows, khi thực thi Chrome(), một trường hợp trong đó đường dẫn thực thi được nhập như sau đã chia sẻ một trường hợp có thể thực thi được. (Thay C:/path/ bằng tên chính xác của thư mục chứa chromedriver.exe.) Cảm ơn bạn!

-------------------------------------------------- ---

driver = webdriver.Chrome( executable_path=r"C:/path/chromedriver.exe" )

-------------------------------------------------- ---

Ngoài ra, trong trường hợp môi trường Mac, chúng tôi nhận thấy rằng sau khi cập nhật Mac OS lên Catalina, chromedriver hiện tại không thể chạy do vấn đề bảo mật. Có thể có cách để thay đổi cài đặt bảo mật, nhưng trong trường hợp này, tốt nhất bạn chỉ cần di chuyển chromedriver đến thư mục /usr/local/bin và chạy nó. Nếu phần này không được thì vào trang sau được chia sẻ trong bài giảng.

https://sites.google.com/a/chromium.org/chromedriver/

Nếu bạn mới tải xuống chromedriver, hãy di chuyển tệp thực thi vào thư mục /usr/local/bin và chạy như sau, tệp sẽ chạy bình thường.

-------------------------------------------------- ---

từ trình quản trị web nhập khẩu selen

chromedriver = '/usr/local/bin/chromedriver'

trình điều khiển = webdriver.Chrome(chromedriver)

-------------------------------------------------- ---

Tôi hy vọng những lời khuyên này cũng hữu ích. Cảm ơn