Khoa học dữ liệu thực tế Phần 3. Tìm hiểu về học máy

Chỉ chứa những nội dung thiết yếu!
Hiểu các nguyên tắc cơ bản của học máy để xây dựng mô hình

Học máy là gì? 👩‍💻

Học máy là phần mềm thực hiện các nhiệm vụ như dự đoán số liệu (hồi quy), phân loại danh mục và đưa ra khuyến nghị tối ưu. Học máy là phần mềm dần dần cải thiện hiệu suất bằng cách quan sát và học hỏi từ dữ liệu.

Học máy hiện là phương pháp phổ biến nhất để triển khai trí tuệ nhân tạo. Chức năng cốt lõi của học máy là tạo ra một "mô hình" học máy có thể thực hiện các hành động thông minh .

Mô hình học máy 📖

Nó đề cập đến phần mềm có thể thu được đầu ra tối ưu (y) từ dữ liệu đầu vào (X) và đầu ra tối ưu có nghĩa là dự đoán tốt câu trả lời đúng (nhãn, mục tiêu).

Các loại mô hình bao gồm mô hình tuyến tính, hồi quy logistic, máy vectơ hỗ trợ (SVM), cây quyết định, rừng ngẫu nhiên, k-NN, mô hình Bayesian và mô hình học sâu (MLP, CNN và RNN). Mặc dù bài giảng này không đề cập cụ thể đến các thuật toán này, nhưng nó sẽ hướng dẫn bạn những phương pháp cơ bản và phổ biến để triển khai các mô hình học máy bằng mô hình tuyến tính. Đặc điểm của từng mô hình sẽ được đề cập trong các bài giảng khác.

Các thành phần của mô hình học máy 🚦

1️⃣ Nhập dữ liệu

Để triển khai mô hình tối ưu, bạn phải chuẩn bị dữ liệu đào tạo cần thiết để đào tạo mô hình và dữ liệu xác thực cần thiết để xác minh hoạt động của mô hình đã đào tạo.

Quá trình tạo dữ liệu đào tạo và xác thực phù hợp từ dữ liệu thô được gọi là tiền xử lý dữ liệu và tiền xử lý dữ liệu ảnh hưởng rất lớn đến hiệu suất của các mô hình học máy.

2️⃣ Mục đích của các mô hình học máy

Mục đích của việc sử dụng các mô hình học máy được chia thành bốn loại:

Những gì bạn sẽ học được trong khóa học này 👨‍🏫

✅ Mô hình học máy

Tìm hiểu tổng quan về học máy và khám phá các khái niệm chính để hiểu về học máy thông qua năm ví dụ.

✅ Đánh giá hiệu suất

Đầu tiên, bạn sẽ học cách triển khai, đào tạo và xác thực các mô hình hồi quy, cũng như các số liệu đánh giá hiệu suất mô hình như R-squared, MAE và RMSE.

Tiếp theo, chúng ta sẽ tìm hiểu cách triển khai mô hình phân loại, cũng như các khái niệm về ranh giới quyết định, ma trận nhầm lẫn, độ chính xác, độ chính xác, độ thu hồi và điểm số f-1. Việc đánh giá hiệu suất phân loại đòi hỏi sự hiểu biết rõ ràng về ma trận nhầm lẫn, mà chúng tôi sẽ giải thích chi tiết thông qua các ví dụ.

Để đánh giá toàn diện hiệu suất của một mô hình phân loại, cần phải đánh giá thứ hạng dự đoán. Vì mục đích này, chúng tôi sẽ giải thích cách sử dụng đường cong ROC-AUC và đường cong độ chính xác-thu hồi.

✅ Tìm ngưỡng phân loại

Trong các ứng dụng thực tế, các mô hình phân loại thường có yêu cầu về độ chính xác hoặc độ thu hồi tối thiểu, đòi hỏi phải lựa chọn ngưỡng phân loại tối ưu đáp ứng các yêu cầu này. Bài viết này trình bày chi tiết cách tìm ngưỡng tối ưu bằng đường cong Độ chính xác-Độ thu hồi.

✅ Sự khác biệt giữa Phân tích thống kê và Học máy

Học máy Trong khi học hầu hết Tò mò điều ở giữa Một Với phân tích thống kê Sự khác biệt Hiểu biết Phân tích thống kê được chia thành thống kê mô tả, ước tính và kiểm định giả thuyết.

• thống kê mô tả
  • Nó đề cập đến việc thu thập một số ý nghĩa hoặc hiểu biết sâu sắc có trong dữ liệu bằng cách hiểu giá trị trung bình, độ lệch chuẩn, phân phối xác suất, tương quan, v.v. của dữ liệu.
• ước tính
  • Có các ước tính điểm ước tính các giá trị số cụ thể như giá trị trung bình và độ lệch chuẩn bằng cách xem xét mẫu và các ước tính khoảng ước tính khoảng tin cậy.
• kiểm tra giả thuyết
  • Điều này đề cập đến việc kiểm tra xem giả thuyết thay thế có đúng hay không bằng cách xem xét dữ liệu mẫu.

Thống kê tập trung vào việc giải thích nền tảng lý thuyết, xử lý các giả thuyết, xác suất, khoảng tin cậy và biên độ sai số. Ngược lại, học máy tập trung vào việc tạo ra các mô hình phần mềm vượt trội về dự đoán và phân loại, thay vì cung cấp nền tảng lý thuyết.

Nếu dữ liệu cần phân tích nhỏ, cần phải dựa vào phân tích thống kê để giải thích, ước tính, kiểm định giả thuyết, v.v. Tuy nhiên, nếu dữ liệu đủ lớn, việc tạo ra một mô hình học máy có thể sử dụng trong thực tế sẽ hữu ích hơn.

Bài giảng này giới thiệu những kiến thức cơ bản về phân tích thống kê, bao gồm các đặc điểm của phân phối chuẩn. Để tham khảo, phân phối chuẩn là hàm phân phối xác suất của các mẫu tích lũy hội tụ và không còn thay đổi (xem hình bên dưới).

---

🌟 Xem các bài giảng về Khoa học dữ liệu cốt lõi

Khoa học dữ liệu thực hành Phần 1: Giới thiệu về Python

Python, ngôn ngữ nền tảng của khoa học dữ liệu.
Khóa học này được thiết kế để cung cấp kiến thức cơ bản về Python.
Đối với những người không có kiến thức cơ bản về ngôn ngữ Python,

Khoa học dữ liệu thực hành Phần 1. Thông qua bài giảng giới thiệu về Python.
Tôi khuyên bạn nên tìm hiểu kiến thức của người chơi.

Khoa học dữ liệu thực hành Phần 2: Tiền xử lý dữ liệu
Hiệu suất phân tích dữ liệu được sử dụng thường xuyên nhất trong doanh nghiệp
Đây là bài giảng về xử lý dữ liệu có tác động lớn nhất.
Đối với những người muốn tìm hiểu thêm về xử lý dữ liệu trước,
Khoa học dữ liệu thực hành Phần 2. Bài giảng về tiền xử lý dữ liệu
Tôi khuyên bạn nên làm vậy.