Tự động hóa và thu thập dữ liệu web bằng Python để tiếp quản công việc của tôi (feat. Chứng khoán, dữ liệu bất động sản / Instagram)
Trong lớp này, bạn sẽ học các kỹ thuật truy xuất (thu thập dữ liệu) và xử lý dữ liệu từ nhiều trang web khác nhau bằng Python và áp dụng chúng trực tiếp vào các ví dụ khác nhau mà bạn có thể gặp trong thực tế. Thông qua đó, bạn sẽ tìm hiểu về các kỹ thuật tập trung vào giải quyết các vấn đề thực tế dựa trên sự hiểu biết về các nguyên tắc cơ bản về cách hoạt động của web, thay vì tự động hóa tác vụ một chiều bằng cách sao chép và dán mã nhất định. để sử dụng nó trên bất kỳ trang web nào trong tương lai Có thể có khả năng thu thập và xử lý dữ liệu. Ngoài ra, bạn sẽ học cách giải quyết các trường hợp ngoại lệ khác nhau xảy ra trong quá trình này bằng mã và cuối cùng, bạn sẽ có thể giải quyết và tự động hóa các vấn đề khác nhau xảy ra trong cuộc sống hàng ngày thông qua tư duy lập trình.
Goldman Sachs, một ngân hàng đầu tư toàn cầu, tự hào sở hữu lực lượng lao động gồm những tài năng hàng đầu trong các lĩnh vực như kinh tế, quản lý, toán học và thống kê. Đáng ngạc nhiên là hơn một phần ba nhân viên của ngân hàng là chuyên gia CNTT. Mặc dù là một tổ chức tài chính, đại đa số nhân viên của ngân hàng đều thành thạo lập trình. Điều đáng ngạc nhiên hơn nữa là số liệu thống kê này đã được công bố từ nhiều năm trước. Tôi tin chắc rằng nhiều nhân viên hiện tại đã được thay thế bằng máy tính, và tỷ lệ chuyên gia CNTT đã tăng lên, đạt ít nhất một nửa.
Theo thời gian, kỹ năng lập trình ngày càng trở nên quan trọng, bất kể chuyên ngành, lĩnh vực hay loại hình công việc. Gần đây, ngày càng nhiều công ty yêu cầu kỹ năng lập trình khi tuyển dụng, bất kể họ làm việc trong lĩnh vực nhân văn hay khoa học. Ở cấp độ quốc gia, tầm quan trọng của giáo dục lập trình đang được nhấn mạnh, và nhiều chính sách giáo dục khác nhau đang được tích cực thúc đẩy.
Tại sao kỹ năng lập trình ngày càng được coi là một kỹ năng cơ bản? Một lý do là nhu cầu về AI toàn cầu ngày càng tăng, với sự phát triển và ứng dụng các thuật toán tiên tiến sử dụng học sâu ngày càng tăng. Một lý do khác là nhiều công việc (lặp đi lặp lại) tại nơi làm việc có thể được thay thế hoặc tự động hóa bằng phần mềm.
Cuộc sống quá ngắn ngủi để lãng phí thời gian quý báu vào những công việc lặp đi lặp lại. Khi sống một cuộc sống lặp đi lặp lại như vậy, chúng ta khó có thể tập trung vào những nhiệm vụ quan trọng và ưu tiên hơn. Nếu nhìn kỹ hơn vào cuộc sống hàng ngày, chúng ta sẽ thấy có rất nhiều công việc có thể được thay thế bằng lập trình. Ví dụ, các công việc như định kỳ truy xuất dữ liệu mong muốn từ một trang web hoặc liên tục theo dõi nội dung cụ thể có thể khả thi. Điều gì sẽ xảy ra nếu máy tính có thể thực hiện những nhiệm vụ này nhanh hơn và chính xác hơn con người?
Trong khóa học này, bạn sẽ học cách tạo các chương trình Python có thể xử lý các tác vụ này. Thay vì chỉ cung cấp một vài dòng mã và một bài giảng ngắn gọn, đơn giản là "Nếu bạn chạy đoạn mã này, bạn có thể lấy dữ liệu từ trang A", khóa học này bắt đầu với những kiến thức cơ bản về cách thức hoạt động của web, trình bày các góc nhìn khác nhau về các vấn đề liên quan đến thu thập dữ liệu và minh họa quy trình giải quyết chúng thông qua lập trình. Khóa học này nhằm mục đích trang bị cho bạn khả năng triển khai nhiều tác vụ tự động dựa trên thu thập dữ liệu trên bất kỳ trang web nào .
🙌 Hãy tạm biệt ctrl+c và ctrl+v! Hãy tự tạo trình thu thập dữ liệu của riêng bạn bằng Python.
Khi làm việc cho các dự án gia công phần mềm cho các công ty ngoài ngành CNTT, tôi đã không ít lần bị sốc. Tôi thường thấy những người có trình độ cao, có bằng thạc sĩ và tiến sĩ, làm thêm giờ, thậm chí làm việc thâu đêm để thu thập dữ liệu từ web phục vụ nghiên cứu hoặc báo cáo. Hầu hết họ đều tốn công sức để truy xuất dữ liệu bằng cách nhấp chuột và tổ hợp phím Ctrl+C, Ctrl+V, rồi sao chép từng dữ liệu vào Excel, thậm chí còn phải tự tay xử lý lỗi định dạng. Thật lãng phí thời gian và công sức.
Lý do tôi bị sốc cũng dễ hiểu thôi, bởi vì những tác vụ này có thể dễ dàng được tự động hóa chỉ bằng vài dòng mã Python . Đáng tiếc là, mặc dù những người này hoàn toàn nhận thức được tầm quan trọng của việc lập trình, nhưng họ lại không biết cách học và áp dụng nó. Hơn nữa, các nhiệm vụ trước mắt lại cấp bách và quan trọng hơn, nên họ không tránh khỏi việc lặp lại vòng luẩn quẩn này. Trên thực tế, nhiều nhân viên văn phòng đã từng trải qua những điều tương tự trong quá khứ hoặc hiện đang lãng phí thời gian vào những công việc vô nghĩa này, gây ra căng thẳng. Trong khóa học này, chúng ta sẽ học cách tự động hóa các tác vụ web lặp đi lặp lại (chẳng hạn như thu thập dữ liệu và kiểm tra định kỳ) bằng cách lập trình logic chúng bằng Python, và chúng tôi sẽ giúp bạn lấy lại thời gian quý báu của mình.
[Thu thập và xử lý trước dữ liệu báo cáo tài chính, báo cáo hàng ngày và báo cáo phút theo từng cổ phiếu]
Thông tin về khu phức hợp bất động sản/Dữ liệu giá thị trường & Phân tích khoảng cách trong khu phức hợp
[Danh sách blog Naver đang được thu thập]
Chỉ cần một vài dòng mã Python có thể thay đổi công việc và thậm chí cả cuộc sống của bạn. Bạn không muốn sống một cuộc sống nhàn nhã mỗi ngày sao?
🙌 "Không có tuần làm việc 40 giờ, không sai lầm, không phàn nàn, không than phiền, không trả lương!" Hãy tạo trợ lý cá nhân của riêng bạn.
'Nếu tôi có nhân viên dưới quyền, tôi có thể phân công công việc và nghỉ ngơi...'
Nhiều người đi làm (đặc biệt là những người mới bắt đầu) có lẽ đã từng nghĩ đến điều này ít nhất một lần. Có những người trực tiếp xử lý công việc cho mình . Và không chỉ một, mà là nhiều người. Chỉ cần tưởng tượng thôi cũng đủ thấy cuộc sống công việc sẽ hạnh phúc biết bao, phải không?
Với Python, bạn cũng có thể làm được điều đó. Máy tính nhanh hơn con người rất nhiều, và vì không bao giờ mắc lỗi, chúng cực kỳ hiệu quả về nhiều mặt. Hơn nữa, không cần nghỉ giải lao, không cần ngủ, không cần lương (trừ một hóa đơn tiền điện nhỏ), nên bạn không phải lo lắng về mức lương theo giờ ngày càng tăng. Tất cả những gì chúng ta cần làm là định nghĩa bài toán thật tốt bằng một ngôn ngữ lập trình để có thể hoàn thành công việc một cách chính xác .
Vậy, Python có thể thay thế những tác vụ nào? Hầu như bất kỳ tác vụ lặp đi lặp lại nào cũng có thể được thay thế.
[Theo dõi và thích tự động trên Instagram]
[Tải xuống tệp PDF]
[Thông báo của Slack Messenger]
Ngoài ra, bạn có thể lập trình và tự động hóa nhiều tác vụ, bao gồm truy xuất dữ liệu vào thời gian/ngày cụ thể, chẳng hạn như bài đăng trên Naver Cafe/blog, bài báo trực tuyến, giá cổ phiếu và thông tin báo cáo tài chính hoặc các tác vụ cần theo dõi định kỳ, chẳng hạn như thông báo bắt đầu bán vé xem phim.
Tôi đích thân tạo ra những người lao động để làm việc thay tôi. Bạn nghĩ sao về việc tạm dừng cuộc sống bận rộn thường ngày và tìm kiếm chút thời gian giải trí?
🙋 6 câu hỏi mà học sinh hỏi nhiều nhất
Câu hỏi 1. Tôi có bắt buộc phải học thêm các khóa học khác (ví dụ: "Python cho mọi người", "Đầu tư định lượng cổ phiếu Pandas - Phần 1") để học khóa học này không? Học khóa học này trước rồi học các khóa học khác có tốt hơn không?
Câu hỏi 2. Nhìn vào mục lục, có vẻ như dữ liệu chứng khoán là trọng tâm chính. Nội dung này có giới hạn ở việc thu thập dữ liệu chứng khoán và tài chính không?
Câu hỏi 3. Tôi đã hoàn thành khóa học và cảm thấy tự tin vì đã học được rất nhiều. Tuy nhiên, tôi không chắc nên thu thập những chủ đề hoặc dữ liệu nào. Bạn có lời khuyên nào cho việc này không?
Câu hỏi 4. Trong lớp trước, phiên bản pandas là 0.25.3, nhưng lớp này sử dụng pandas phiên bản 1.x. Tôi phải xử lý xung đột phiên bản như thế nào?
Câu hỏi 5. Tôi gặp khó khăn khi hiểu một phần bài giảng. Tôi nên làm gì?
=> Câu trả lời cho các câu hỏi trên (Q1 ~ Q5) được trình bày chi tiết trong video " Phần 0.Câu hỏi thường gặp về buổi định hướng".
Câu 6. Làm thế nào để tôi có thể xem mục lục trong tệp Jupyter?
A6. Vui lòng tham khảo https://www.inflearn.com/course/생초보-입문-PYTHON/lecture/73183
📚Chúng tôi đã chuẩn bị video định hướng này tỉ mỉ như chính nội dung khóa học. Tuy hơi dài, nhưng video này bao quát định hướng và mục đích không chỉ của khóa học này mà còn của các khóa học tương lai, và đề cập đến những chủ đề mà bạn có thể quan tâm. Hãy để video định hướng này khơi dậy niềm đam mê học hỏi của bạn!
📚Không còn những bài giảng một người, nơi giáo viên đứng trước mặt học viên nữa! Lớp học mà mọi người đều hiểu nguyên tắc và cùng nhau làm việc! Chúng ta bắt đầu ngay thôi nào?
Khuyến nghị cho những người này
Khóa học này dành cho ai?
Những người thường xuyên có nhu cầu theo dõi liên tục các thông tin cụ thể trên web
Bất kỳ ai muốn thu thập dữ liệu mong muốn từ web bằng mã đơn giản
Bất kỳ ai muốn tự động hóa và nghỉ việc bằng cách logic hóa tốt các tác vụ trên bằng Python.
Bất cứ ai muốn tạo một chương trình giúp ích cho bạn trong khi bạn ăn, ngủ hoặc đi nghỉ
Những người đã học lớp Đầu tư định lượng Python Phần 1 và muốn áp dụng những gì đã học trong lớp đó vào dữ liệu họ muốn
Những người muốn học Python thông qua các ví dụ hoặc dự án thực tế nhưng chưa chọn được chủ đề phù hợp
Những người muốn có một lớp học nơi sinh viên có thể tự mình áp dụng những gì đã học thông qua việc hiểu các nguyên tắc, thay vì một lớp học mà người hướng dẫn chỉ thực thi mã do người hướng dẫn đưa ra.
Cần biết trước khi bắt đầu?
'Python mà bất cứ ai cũng có thể học, ngay cả sinh viên nghệ thuật tự do và những người không chuyên ngành' Hoặc, bạn cần có hiểu biết khái niệm về Python cơ bản và 'thư viện'
Thư viện Pandas là tùy chọn, nhưng nó mang lại sức mạnh tổng hợp nếu bạn biết cách sử dụng nó!
Tham khảo lộ trình: https://www.inflearn.com/roadmaps/474
Xin chào Đây là
16,203
Học viên
580
Đánh giá
326
Trả lời
4.8
Xếp hạng
5
Các khóa học
데이터로 미래를 설계하고 현실의 문제를 해결하는 데이터 엔지니어입니다.
데이터 기반 통찰을 사랑하며, 평생 학습(Life-long Learner)하고 지식을 나누는 기여자(Contributor)가 되고자 합니다
Bạn không thể tham gia khóa học nếu không có Python cơ bản.
Bài giảng diễn ra rất nhanh chóng. Thầy có vẻ rất thông minh. Tuy nhiên, học sinh không có thời gian để theo dõi. Mình đang học tới chương 15... Định nghe hết rồi nghe lại... Thầy dạy hay nhưng không biết học sinh có làm tốt không nữa...
Xin chào! Cảm ơn bạn đã đánh giá của bạn
Có vẻ như lớp học rất khó theo dõi. Tôi nói hơi nhanh ㅠㅠ
Như bạn đã nói, đừng cố gắng học mọi thứ cùng một lúc, nhưng tôi nghĩ bạn sẽ có thể học đủ nếu bạn nhìn vào bức tranh tổng thể và tham gia lại khóa học.
Nếu bạn không hiểu hoặc không biết gì trong quá trình thực hiện, vui lòng để lại câu hỏi qua bảng thông báo Hỏi đáp và chúng tôi sẽ sẵn lòng trợ giúp.
Cảm ơn!
Lớp học của Deepingsauce tôi tin tưởng và lắng nghe... Tôi thực sự rất mong đợi lớp tiếp theo sau khi học lớp lượng tử, và đúng như dự đoán, đây là lớp học đã không làm tôi thất vọng. Tôi đã từng tham gia một số bài giảng trực tuyến nhưng đây là lần đầu tiên tôi có một bài giảng mà mọi thứ đều được giải quyết chỉ bằng cách xem video bài giảng mà không cần phải tra cứu những phần tôi không hiểu khi nghe giảng. Đó không phải là một sự lãng phí tiền bạc. Tôi mong chờ bài giảng tiếp theo.