Dễ dàng dành cho người mới bắt đầu Thu thập thông tin nâng cao Python [Scrapy, Selenium, Headless Chrome]

Xin chào. Đây là Dave Lee của Janjaemi Coding.

Cùng với việc mở đầu bài giảng FLUTTER, chúng tôi cũng sẽ cập nhật và chia sẻ các bài giảng hiện có. Sau khi tham gia khóa học, bạn có thể tiếp tục nghe nội dung cập nhật bất kỳ lúc nào.

Giới thiệu về Python và Chương trình đào tạo thu thập thông tin

• Vì chúng tôi đã thu thập thông tin dựa trên trang web thực tế nên đôi khi trang web thực tế đã thay đổi và mã chúng tôi cung cấp không hoạt động bình thường. Tôi đã tạo một trang web mà tôi có thể tự kiểm soát và cập nhật bài giảng để bạn có thể thực hành thu thập thông tin dựa trên đó.

• Ngoài ra, khả năng sử dụng Excel với Python đã được cập nhật.

• Mức độ khó tổng thể đã tăng lên một chút so với trước đây để bạn có thể tìm hiểu thêm các chức năng.

Từ kiến ​​thức cơ bản về SQL/DB (MySQL) đến cách sử dụng Python/phân tích dữ liệu!

• Gần đây, kỹ năng viết SQL đã trở nên quan trọng hơn, đến mức có những trường hợp cần phải kiểm tra mã hóa SQL để xin việc.

• Vì vậy, để bạn có thể thực hành SQL, tôi sẽ sử dụng cơ sở dữ liệu sakila được sử dụng trong kinh doanh thực tế, cơ sở dữ liệu mà tôi đã thu thập để phân tích dữ liệu và các vấn đề SQL mà tôi đã tạo dựa trên nó.

• Nó được thiết kế để bạn có thể thực hành nhiều SQL khác nhau.

• Thu thập dữ liệu Python + pymysql được giải thích bằng các ví dụ để có thể sử dụng nhanh chóng với mã có khuôn mẫu, ngắn gọn hơn.

Tôi mong rằng hai bài giảng này sẽ là những bài giảng hay hơn, những bài giảng thực sự hữu ích và ấn tượng.
Ngoài ra, các bài giảng Mongodb sẽ sớm được cập nhật. Chúng tôi sẽ chia sẻ lại sau khi cập nhật hoàn tất.

Cảm ơn

Xin chào. Đây là Dave Lee của Janjaemi Coding.

Trên thực tế, bài giảng chương trình đào tạo Flutter [Full Stack Part 4] dành cho người dùng full stack lần đầu hiện đã mở và chúng tôi đang chia sẻ bài giảng đó với bạn .
Chúng tôi cũng đã áp dụng giảm giá theo thời gian ở mức tối đa có thể để nội dung đủ phong phú để xem đi xem lại nhưng vẫn có thể xem được ở mức giá thấp.

Flutter là công nghệ cho phép bạn tạo ứng dụng/chương trình cho web, Android, iPhone, MACOS, WINDOWS và thậm chí LINIX chỉ bằng một mã duy nhất. Trên hết là năng suất cao. Đó là một công nghệ rất hấp dẫn do Google tạo ra và được cập nhật nhanh chóng. Nó đã vượt qua React Native ở nước ngoài từ lâu và là một công nghệ đang trở nên hot trong nước.

Mình nghĩ nó sẽ hữu ích cho những bạn muốn phát triển kiến ​​thức chuyên môn về front-end, những bạn muốn trở thành full-stack, hoặc những bạn muốn trở thành back-end dev, học công nghệ front-end, có trình độ cấp cao. luật xa gần. Tôi nghĩ nó cũng sẽ hữu ích cho những ai muốn tạo ra một dịch vụ tốt dù ở quy mô rất nhỏ.

Trên thực tế, ý nghĩa sâu xa hơn là cách tôi có thể tự mình thử nghiệm các dự án ứng dụng và web hợp lý. Bạn không nhất thiết phải ở một mình, nhưng nếu áp dụng công nghệ mới nhất, liệu có lộ trình nào có thể là lối tắt ngay cả với những người mới bắt đầu với ít nguồn lực hơn không? Kết quả tôi đã sử dụng thực sự TUYỆT VỜI. Bắt đầu với Python đơn giản nhất, tìm đến FLASK (để tăng hiệu suất hơn nữa, bạn có thể sử dụng FASTAPI tương tự dựa trên hiểu biết của bạn về FLASK), tìm hiểu kiến ​​​​thức cơ bản về web (HTML/CSS/JS) và nhập Docker để cải thiện hiệu quả vận hành máy chủ . Sau khi tối đa hóa, nếu bạn biến giao diện người dùng thành FLUTTER bằng một mã!

Nếu bạn sử dụng chatGPT tại đây, bạn có thể tạo một dịch vụ tốt với tài nguyên tối thiểu. Để cạnh tranh hơn, sẽ rất tốt nếu đưa AI vào và bạn có thể cảm nhận về AI thông qua lộ trình dữ liệu riêng biệt. Bằng cách thêm dữ liệu (hoặc thêm kỹ thuật nhanh chóng) vào chatGPT, các dịch vụ mạnh mẽ trong các lĩnh vực cụ thể cũng có thể thực hiện được.

Nó được tạo ra dựa trên phiên bản FLUTTER mới nhất, phiên bản này đang thay đổi nhanh chóng và bản thân bài giảng cũng được cấu trúc để có thể sử dụng nó làm back-end. Nó được thiết kế để cho phép học nhanh với các bài tập thực hành chi tiết, bài tập và dự án hợp lý.

Cá nhân tôi, việc phát triển Flutter bằng các kỹ năng của mình khiến tôi mất nhiều thời gian hơn tôi mong đợi. Vì có rất nhiều chức năng nên nếu rẽ nhầm sẽ mất thời gian và bạn không biết. Dựa trên kinh nghiệm này, bài giảng này dựa trên phương pháp học nhanh nhất mà tôi cảm thấy để tôi có thể phát triển Flutter bằng các kỹ năng của mình trong một khoảng thời gian ngắn. Vì vậy, bạn sẽ có thể sử dụng Flutter trong một khoảng thời gian ngắn.

Thậm chí, mẹo sử dụng chatGPT trong Flutter? Chúng tôi cũng giải thích. Nếu bạn sử dụng chatGPT để phát triển Flutter, bạn sẽ có thể sử dụng Flutter một cách nhanh chóng dựa trên kiến ​​thức từ bài giảng này.

Hôm nay nó khai trương và vì có nhiều nội dung nên có thể có sai sót. Nếu có sai sót gì xin vui lòng cho tôi biết và tôi sẽ sửa ngay.

Tôi hy vọng bài giảng này sẽ hữu ích.

Cảm ơn

Xin chào. Đây là Dave Lee của Janjaemi Coding.

Không có gì khác biệt, bằng cách gửi bài giảng chương trình đào tạo Flutter [Full Stack Part 4] dành cho người dùng full stack lần đầu tiên tới Infrun,
Hãy chia sẻ. Có vẻ như sẽ phải mất một khoảng thời gian nhất định để bài giảng khai mạc, tùy thuộc vào lịch trình của Infron.

Flutter là công nghệ cho phép bạn tạo ứng dụng/chương trình cho web, Android, iPhone, MACOS, WINDOWS và thậm chí LINIX chỉ bằng một mã duy nhất. Trên hết là năng suất cao. Đó là một công nghệ rất hấp dẫn do Google tạo ra và được cập nhật nhanh chóng. Nó đã vượt qua React Native ở nước ngoài từ lâu và là một công nghệ đang trở nên hot trong nước.

Mình nghĩ nó sẽ hữu ích cho các dev muốn phát triển kiến ​​thức chuyên môn về front-end, những ai muốn trở thành full-stack, hoặc những ai muốn trở thành back-end dev, tìm hiểu công nghệ front-end và có trình độ chuyên môn cao. luật xa gần. Tôi nghĩ nó cũng sẽ hữu ích cho những ai muốn tạo ra một dịch vụ tốt dù ở quy mô rất nhỏ.

Cá nhân tôi, việc phát triển Flutter bằng các kỹ năng của mình khiến tôi mất nhiều thời gian hơn tôi mong đợi. Vì có rất nhiều chức năng nên nếu rẽ nhầm sẽ mất thời gian và bạn không biết. Dựa trên kinh nghiệm này, bài giảng này dựa trên phương pháp học nhanh nhất mà tôi cảm thấy để tôi có thể phát triển Flutter bằng các kỹ năng của mình trong một khoảng thời gian ngắn. Vì vậy, bạn sẽ có thể sử dụng Flutter trong một khoảng thời gian ngắn.

Thậm chí, mẹo sử dụng chatGPT trong Flutter? Tôi cũng sẽ giải thích. Nếu bạn sử dụng chatGPT để phát triển Flutter, bạn sẽ có thể sử dụng Flutter một cách nhanh chóng dựa trên kiến ​​thức từ bài giảng này.

Tôi hy vọng nó sẽ mở nhanh và chúng tôi sẽ chia sẻ tin tức mới với bạn ngay khi nó mở ra.
Cảm ơn

Xin chào. Đây là Dave Lee của Janjaemi Coding.

Bạn thế nào rồi? Không có gì khác biệt, nhưng may mắn thay, đôi khi có những người gửi email cho tôi nói rằng họ đã tìm được việc làm. Nghĩ đi nghĩ lại tôi nghĩ nếu mình chia sẻ những trường hợp này thì người nghe giảng sẽ có động lực và thông tin hơn một chút. Tất nhiên, chúng tôi không thể chia sẻ nội dung của từng email mà chúng tôi sẽ chỉ chia sẻ ngắn gọn nội dung chính.

Nếu bạn học CNTT, bạn có thể tiếp cận nhiều vị trí khác nhau. Một vị trí đáng để cân nhắc ít nhất một lần là nhà phân tích dữ liệu. Gần đây, số lượng người được tuyển dụng vào vị trí này ngày càng tăng. Các công ty khởi nghiệp từ lâu đã nỗ lực đưa ra quyết định dựa trên dữ liệu. Nó dường như đang trở nên phổ biến bây giờ. Do đó, cần có nhiều phân tích dữ liệu khác nhau và vị trí thực hiện việc này là nhà phân tích dữ liệu.

Các nhà phân tích dữ liệu phải làm quen với các công nghệ CNTT xử lý dữ liệu. SQL, liên quan đến cơ sở dữ liệu, là chìa khóa. Ngoài ra, công nghệ phân tích dữ liệu dựa trên Python và thêm sự hiểu biết cốt lõi về học máy/học sâu là đủ từ góc độ kỹ thuật.

Sau khi gặp 50.000 sinh viên, tôi nhận thấy rằng một số người thích các kĩ năng liên quan đến dữ liệu hơn là lập trình và đang học tốt chúng. Tôi nghĩ đây là năng khiếu của tôi. Mặc dù tất cả chúng đều có vẻ giống như kỹ năng CNTT, nhưng việc lập trình và dữ liệu lại đòi hỏi một cách suy nghĩ hơi khác. Ngoài ra, thay vì đắm chìm trong công nghệ CNTT, nhà phân tích dữ liệu phải có hiểu biết tốt về công nghệ CNTT và kinh doanh sau khi làm việc, vì vậy đây là một vị trí rất tốt cho những ai muốn biết cả kinh doanh và công nghệ CNTT.

Trên thực tế, các công nghệ liên quan không nhất thiết phải đắm chìm trong công nghệ CNTT nên bạn có thể học chúng mà không nhất thiết phải tham gia khóa học toàn thời gian 6 tháng. Lộ trình khoa học dữ liệu tiếp theo là một chuỗi bài giảng được tạo ra để giúp sinh viên học mọi thứ từ kiến ​​thức cơ bản về CNTT đến học sâu, giả định rằng họ không theo chuyên ngành và không có kiến ​​thức về CNTT.

• https://www.inflearn.com/roadmaps/66

Tất nhiên, ngoài việc học lý thuyết thống kê xác suất thì sẽ rất tốt, nhưng nếu bạn nghĩ về công việc thực tế, tôi không nghĩ nó thực sự cần thiết. (Trên thực tế, tôi sử dụng SQL nhiều nhất. Trong tương lai, tôi dự định thêm một bài kiểm tra mã hóa SQL (tên tác phẩm) để cho phép bạn thực hành SQL theo nhiều cách khác nhau.)

Dù sao, thông qua quá trình này, đôi khi tôi nhận được email từ những người hoàn toàn không chuyên ngành nhưng bắt đầu làm việc trong lĩnh vực CNTT, làm quen với các nhà phân tích dữ liệu, thực hiện ước mơ của họ, kiếm được việc làm hoặc thay đổi công việc. Ngay cả khi bạn không nhất thiết phải là nhà phân tích dữ liệu, nếu bạn có thể xử lý dữ liệu bằng CNTT, bạn có thể có lợi thế cạnh tranh rất lớn cho dù bạn làm công việc gì, ngay cả khi bạn điều hành một doanh nghiệp. Tôi nghĩ giá trị của các nhà phân tích dữ liệu có thể sẽ lớn hơn nhiều trong 2-3 năm tới so với hiện tại.

Cuối cùng, gần đây tôi đang chuẩn bị cho một khóa học Flutter. Mã này ngắn gọn và là công nghệ cho phép bạn tạo các chương trình không chỉ cho Android/iOS mà còn cho cả web/MAC/WINDOW chỉ bằng một mã và cuối cùng nó đã trở nên hot gần đây. Những ai đã nghe bài giảng của tôi hai năm trước có thể sẽ biết rằng tôi đã đề cập đến Flutter trên trang chi tiết kể từ đó. (Đúng như dự đoán, cuối cùng nó cũng trở nên hot haha) Tôi sẽ mở rộng chia sẻ vào khoảng cuối tháng 4.

Tôi hy vọng email này sẽ hữu ích.

Cảm ơn

Xin chào. Đây là Dave Lee của Janjaemi Coding.

Chúng tôi đang chia sẻ khóa học thu thập dữ liệu nâng cao Python dễ dàng được cập nhật cho người mới bắt đầu.

Vì thư viện selen được cập nhật gần đây nên tên phương thức đã được thay đổi. Tất nhiên, ngay cả khi tên phương thức được thay đổi, điều thông thường là phải đảm bảo rằng phương thức hiện tại có thể được sử dụng theo cách tương tự. Đó là vì 'khả năng tương thích'. Nhân tiện, nhóm phát triển thư viện Selenium? đã quyết định không hỗ trợ các phương pháp hiện có. Nếu điều này xảy ra, sẽ có trường hợp mã hiện có sử dụng Selenium không hoạt động tùy thuộc vào phiên bản thư viện Selenium, vì vậy đây có vẻ là một quyết định lớn.

Tuy không ảnh hưởng gì đến code nhưng mình thấy code mình muốn thay đổi nên mình đã thay đổi 2 thứ sau.

1. Tất cả các phương thức find_element_by_***() đã được thay đổi thành find_element(By.***, ***).

- Ví dụ: find_element_by_id('myid') --> find_element(By.ID, 'myid')

- Để khai báo By.ID, v.v... còn phải khai báo thêm như sau.

từ Selenium.webdriver.common.by nhập Bởi

2. Đối với Selenium 4.xx trở lên, nó không ảnh hưởng đến mã, nhưng có vẻ như nó cũng muốn thay đổi mã khởi tạo.

- Trước đây, bạn chỉ có thể nhập trực tiếp đường dẫn làm đối số (ví dụ: webdriver.Chrome(chromedriver))

- Từ nay trở đi rất có thể hướng đi sẽ thay đổi là đưa nó vào đối tượng Service. (Ví dụ: webdriver.Chrome(service=Service(chromedriver))

- Để làm được điều này, thư viện webdriver_manager cũng phải được cài đặt riêng.

Thay đổi ở trên thực chất chỉ là thay đổi tên phương thức, nhưng tên phương thức cốt lõi đã được thay đổi và tất cả các mã và tài liệu liên quan đã được cập nhật. Tất cả tài liệu, bao gồm cả mã cho chương tiếp theo, đã được cập nhật, vì vậy bạn nên tải lại xuống khi cần.

- Hiểu được bức tranh toàn cảnh và mục tiêu của Selenium và Scrapy framework

- Bài tập 1: Headless Chrome và Selenium crawling

- Hiểu được bức tranh toàn cảnh của XPATH

- Sử dụng XPATH để hiểu bằng cách giải các bài tập thực hành

- Thu thập dữ liệu nhiều trang bằng Selenium

- Các ứng dụng đa dạng của Scrapy: Kết hợp Selenium và Scrapy để thu thập dữ liệu các trang web động

Hôm nay tôi cũng nhanh chóng phát hiện ra và nhanh chóng sửa chữa. Tôi hy vọng không có vấn đề gì với quá trình này.

Cảm ơn

Xin chào. Đây là Dave Lee của Janjaemi Coding.
Trên thực tế, lịch khai giảng các bài giảng deep learning và Flutter đã bị hoãn lại nên chúng tôi xin chia sẻ với các bạn.

Ban đầu , các bài giảng về học sâu và rung đã được lên kế hoạch mở cho đến nửa đầu năm nay .
Trước hết, tôi đang chuẩn bị một bài giảng về deep learning, nhưng có vẻ như tiết học sẽ bị trì hoãn một chút.
Nhiều người đã thắc mắc, chúng tôi xin lỗi.

Tôi đang dành toàn bộ thời gian cho đến cuối tuần để chuẩn bị, nhưng
Khi số lượng bài giảng tăng lên, việc thực hiện chúng sẽ mất rất nhiều thời gian.
Vì tôi đang phải xử lý các nhiệm vụ khác nên có vẻ hơi choáng ngợp.

Chúng tôi sẽ khai giảng tuần tự vào nửa cuối năm với các bài giảng deep learning và Flutter nhanh nhất có thể.
Không có nhiều bài giảng có thể dễ dàng tổ chức và sử dụng các công nghệ cơ bản của deep learning đến cấp độ mã trong một khoảng thời gian ngắn, vì vậy tôi đang chuẩn bị các phần liên quan.
Với Flutter 3.0, cuối cùng nó cũng dần trở nên ổn định.

Cuối cùng khi nó trở nên rung động, công nghệ dữ liệu cũng được tích hợp,
Cũng có thể phát triển các dịch vụ toàn bộ dữ liệu khá thú vị.

Trong mọi trường hợp, tôi sẽ làm cho nó trở thành một bài giảng tốt hơn để nó có thể hữu ích.
Cảm ơn

giấc mơ của Dave Lee