Giải tích cho AI — Đạo hàm, gradient và nguyên lý mạng nơ-ron học tập
Đây là bài giảng dành cho những ai muốn hiểu các công thức về phép vi phân và lan truyền ngược trong học sâu. Bạn sẽ lần lượt học từ hàm số và giới hạn đến đạo hàm, quy tắc dây chuyền, gradient và phương pháp giảm độ dốc, sau đó tự tính toán quá trình lan truyền xuôi, tính hàm mất mát, lan truyền ngược và cập nhật trọng số của một mạng nơ-ron nhỏ. Không cần lập trình hay cài đặt, bạn có thể tìm hiểu các khái niệm qua hình ảnh động và kết nối chúng với các công thức cũng như quá trình học của AI.
Có thể hiểu hàm số, giới hạn, đạo hàm và quy tắc dây chuyền bằng đồ thị và công thức, đồng thời giải thích mối quan hệ của chúng với mạng nơ-ron.
Có thể tính gradient của hàm mất mát và xác định nên điều chỉnh trọng số theo hướng nào và với mức độ bao nhiêu.
Bạn có thể tự tính toán lan truyền tiến, tính tổn thất, lan truyền ngược, trung bình mini-batch và cập nhật trọng số của một mạng nơ-ron nhỏ.
Có thể so sánh nguyên lý của phương pháp giảm gradient, momentum và Adam, đồng thời giải thích ảnh hưởng của tốc độ học và hàm kích hoạt đến quá trình học.
Toán học cho AI · Giải tích
Nguyên lý học của mạng nơ-ron, hiểu bằng phép tính vi tích phân
Bạn cảm thấy các công thức đạo hàm và lan truyền ngược trong deep learning xa lạ? Bắt đầu từ hàm số và giới hạn, chúng ta sẽ từng bước tìm hiểu quá trình một mạng nơ-ron nhỏ thay đổi trọng số và học tập.
Đây là khóa học giúp bạn xem khái niệm qua hình ảnh chuyển động, hệ thống hóa bằng công thức và tự mình tính toán để kết nối với quá trình học của AI.
18 phần · 144 bài học3 dự án tổng hợpkhông cần cài đặt môi trường lập trình và phát triển
Bắt đầu từ những câu hỏi như thế này
Tại sao trọng số lại thay đổi theo hướng đó?
Framework sẽ tự động tính gradient. Tuy nhiên, khi quá trình học chậm hoặc hàm mất mát không giảm, bạn cần hiểu ý nghĩa của phép tính đó để có thể đánh giá tốc độ học, hàm kích hoạt và hàm mất mát.
Nếu thay đổi giá trị này một chút, sai số sẽ thay đổi bao nhiêu?
Đạo hàm và gradient trả lời câu hỏi này, còn phương pháp hạ dốc sử dụng câu trả lời đó để điều chỉnh các tham số.
Cách học
Từ hình vẽ đến công thức, từ công thức đến phép tính thực tế
01
Hiểu bằng hình ảnh
Khám phá giới hạn, tiếp tuyến và gradient qua hoạt ảnh, sau đó học các công thức và ký hiệu.
02
Kết nối với AI
Xác nhận cách quy tắc chuỗi được sử dụng trong lan truyền ngược và gradient được sử dụng để cập nhật trọng số.
03
Tự tính toán
Từ một nơ-ron đơn lẻ đến một mạng nơ-ron nhỏ, cùng áp dụng các khái niệm đã học qua ba dự án.
Những gì bạn có thể làm sau khi hoàn thành khóa học
Để có thể tự mình giải thích các phép tính vốn được thực hiện tự động
Diễn giải hàm số, đạo hàm và quy tắc chuỗi bằng đồ thị và công thức
Tính gradient của hàm mất mát và cập nhật trọng số
Tính toán quá trình học của một mạng nơ-ron nhỏ, từ lan truyền xuôi đến lan truyền ngược
So sánh sự thay đổi trong quá trình học theo tốc độ học, kích thước lô và hàm kích hoạt
Phân biệt nguyên lý hoạt động của Momentum, RMSProp và Adam
Toàn bộ quá trình học tập
Từ những kiến thức cơ bản về hàm số đến toàn bộ quá trình học của mạng nơ-ron
Nắm vững kiến thức cơ bản → lấy đạo hàm neuron → giảm hàm mất mát → huấn luyện mạng nơ-ron. Bạn sẽ lần lượt theo dõi 18 phần và tích lũy các khái niệm cần thiết.
PHẦN 01
Giới thiệu khóa học và hướng dẫn học tập
Khám phá toàn bộ mạch kiến thức từ hàm số đến quá trình học mạng nơ-ron. Hướng dẫn bạn cần tính toán gì trong ba dự án và nên học theo trình tự nào.
PHẦN 02
Bắt đầu lại từ hàm số
Tổng hợp về hàm số và đồ thị, hệ số góc của đường thẳng, hàm số mũ và logarit. Biểu diễn mạng nơ-ron bằng hàm hợp, qua đó xây dựng nền tảng để học phép vi phân.
PHẦN 03
Hiểu sự thay đổi qua giới hạn
Xem xét giới hạn bằng các giá trị số và đồ thị, đồng thời tìm hiểu về tính liên tục, giới hạn trái và giới hạn phải, cũng như đường tiệm cận. Tìm hiểu quá trình hệ số góc giữa hai điểm dẫn đến hệ số góc của tiếp tuyến.
PHẦN 04
Đạo hàm và tốc độ thay đổi tức thời
Từ tốc độ thay đổi trung bình tiến đến định nghĩa của đạo hàm. Đọc đồ thị của tiếp tuyến và đạo hàm, đồng thời tìm hiểu các trường hợp không thể vi phân và hướng thay đổi mà đạo hàm cho biết.
PHẦN 05
Quy tắc đạo hàm và quy tắc chuỗi
Tìm hiểu cách vi phân hàm đa thức, tích, thương và hàm hợp. Tiếp tục làm quen với đạo hàm cấp cao và phép xấp xỉ hàm, đồng thời liên hệ cách quy tắc chuỗi được sử dụng trong lan truyền ngược.
PHẦN 06
Hàm số mũ, logarit và hàm kích hoạt
Bắt đầu từ hằng số tự nhiên e và đạo hàm của hàm mũ, hàm logarit, sau đó tìm hiểu sigmoid, tanh, ReLU và softmax. So sánh ảnh hưởng của độ dốc hàm kích hoạt đến quá trình học.
PHẦN 07
Dự án 1 · Lấy đạo hàm của một nơ-ron
Biểu diễn một nơ-ron bằng tổng có trọng số, độ lệch và hàm kích hoạt. Chia nhỏ phép tính theo từng bước và áp dụng quy tắc chuỗi để xác định ảnh hưởng của trọng số và độ lệch đến đầu ra.
PHẦN 08
Hàm mất mát và gradient
So sánh MSE, MAE, entropy chéo và hàm mất mát Huber. Tính gradient của từng hàm mất mát và tìm hiểu quá trình học thay đổi như thế nào tùy theo lựa chọn hàm mất mát.
PHẦN 09
Phương pháp hạ dốc và tốc độ học tập
Tìm hiểu nguyên lý cập nhật trọng số theo hướng làm giảm tổn thất. So sánh sự hội tụ, dao động và phân kỳ tùy theo tốc độ học, đồng thời xác nhận lý do việc học trở nên chậm ở những vùng phẳng.
PHẦN 10
Hiểu sự thay đổi của nhiều biến số
Hiểu đạo hàm riêng và vectơ gradient qua các bề mặt cong và đường đồng mức. Học về đạo hàm theo hướng, ma trận Hessian và ma trận Jacobian, đồng thời mở rộng sang phép vi phân khi số lượng tham số tăng lên.
PHẦN 11
Học theo batch và mini-batch
Tính toán quá trình cộng và lấy trung bình tổn thất cùng gradient theo từng dữ liệu. So sánh sự khác biệt giữa toàn bộ batch, mini-batch và SGD, cũng như quỹ đạo học tập theo kích thước batch.
PHẦN 12
Dự án 2 · Theo dõi bề mặt tổn thất
Tính bề mặt tổn thất bằng một mô hình có hai tham số và một tập dữ liệu nhỏ. Tính gradient, cập nhật nhiều lần và hiển thị lộ trình học trên các đường đồng mức.
MỤC 13
Đồ thị tính toán và lan truyền ngược
Sau khi tính giá trị dự đoán bằng lan truyền thuận, áp dụng quy tắc chuỗi vào đồ thị tính toán. Sử dụng gradient cục bộ để tính toán theo hướng ngược, đồng thời hiểu nguyên lý tái sử dụng các kết quả trung gian.
PHẦN 14
Mở rộng sang các mạng nơ-ron sâu hơn
Tìm hiểu cách gradient thay đổi khi đi qua nhiều lớp. Nội dung bao gồm hiện tượng tiêu biến và bùng nổ gradient, lựa chọn hàm kích hoạt, cũng như lượng tính toán tùy theo độ sâu và độ rộng.
PHẦN 15
Tối ưu hóa và các bộ tối ưu hóa
Bạn sẽ học về cực tiểu cục bộ, điểm yên ngựa, và sự khác biệt giữa hàm lồi và không lồi. So sánh Momentum, RMSProp và Adam trên cùng một bề mặt hàm mất mát, đồng thời tìm hiểu vai trò của lịch trình tốc độ học và độ cong.
PHẦN 16
Từ tích phân đến xác suất
Hiểu tích phân thông qua diện tích dưới đường cong và đại lượng tích lũy. Sau khi học định lý cơ bản của giải tích, chúng ta sẽ kết nối với mật độ xác suất, giá trị kỳ vọng và tích phân Monte Carlo.
PHẦN 17
Dự án cuối khóa · Tính toán toàn bộ quá trình huấn luyện mạng nơ-ron
Xác định cấu trúc và trọng số ban đầu của một mạng nơ-ron nhỏ, sau đó lần lượt tính toán truyền tiến, tính hàm mất mát, lan truyền ngược, trung bình mini-batch và cập nhật. Lặp lại quá trình huấn luyện để theo dõi sự thay đổi của đường cong mất mát.
PHẦN 18
Tổng hợp các khái niệm cốt lõi và bước tiếp theo
Tóm tắt mối quan hệ giữa hàm số, đạo hàm, gradient, lan truyền ngược và bộ tối ưu hóa. Tiếp theo, giới thiệu về xác suất và thống kê dành cho AI để học tiếp, cùng định hướng học tập tiếp theo.
Hướng dẫn trước khi học
Khuyến nghị dành cho những người sau đây
Dành cho những ai muốn hiểu các công thức đạo hàm và lan truyền ngược trong các bài giảng hoặc bài báo về học sâu
Những người đã thử chạy mô hình nhưng muốn tìm hiểu nguyên lý tính toán gradient
Những người muốn học giải tích cần thiết cho AI sau khi học đại số tuyến tính
Dành cho những người muốn hiểu khái niệm trước qua hình vẽ và phép tính hơn là qua chứng minh.
Kiến thức tiên quyết và đồ dùng cần chuẩn bị
Đã học khóa “Đại số tuyến tính cho AI” hoặc có kiến thức cơ bản tương đương Bạn nên biết về vectơ, ma trận, tích vô hướng và phép biến đổi tuyến tính. Ngoài ra, khóa học cũng sử dụng cách giải phương trình, mặt phẳng tọa độ và cách đọc các đồ thị đơn giản.
Không cần học trước về giải tích hay có kinh nghiệm lập trình. Khóa học được tiến hành mà không cần môi trường phát triển riêng; hãy chuẩn bị giấy và bút để theo dõi các phép tính.
Phạm vi của bài giảng
Tập trung vào các khái niệm và phép tính giải tích cần thiết cho việc học AI. Khóa học này không đề cập đến chứng minh epsilon-delta, phép vi phân hàm lượng giác và hàm ẩn, tích phân đổi biến, tích phân từng phần, v.v.
Giải thích bằng hình ảnh động và phụ đề tiếng Hàn; không cung cấp mã nguồn riêng hoặc tệp thực hành lập trình. Trong ba dự án, khuyến khích bạn trực tiếp làm theo các phép tính trên màn hình bài giảng.
Bắt đầu từ hàm số, cho đến các phép tính diễn ra trong quá trình học.
Hãy cùng tìm hiểu vai trò của từng khái niệm giải tích trong mạng nơ-ron thông qua hình ảnh, công thức và các phép tính tự mình thực hiện.
Khuyến nghị cho những người này
Khóa học này dành cho ai?
Dành cho những ai muốn hiểu các công thức đạo hàm và lan truyền ngược xuất hiện trong các bài giảng hoặc bài báo về học sâu.
Những người đã từng chạy mô hình nhưng muốn tìm hiểu nguyên lý tính gradient trong framework.
Dành cho những ai muốn tiếp tục học AI sau khi học các kiến thức cơ bản về đại số tuyến tính, đồng thời nắm vững giải tích thông qua hình ảnh và tính toán.
Cần biết trước khi bắt đầu?
Tham gia khóa học 「Đại số tuyến tính cho AI」 hoặc có kiến thức cơ bản tương đương về vectơ, ma trận, tích vô hướng và phép biến đổi tuyến tính
Đại số ở trình độ trung học phổ thông, chẳng hạn như giải phương trình, mặt phẳng tọa độ và đọc các đồ thị đơn giản.
Không cần học trước về giải tích hay có kinh nghiệm lập trình. Khóa học được tiến hành mà không cần cài đặt môi trường phát triển riêng.
Xin chào. Tôi đang điều hành HyperStep, một công ty nội dung giáo dục, và tạo ra các nội dung giải thích về toán học và lập trình một cách dễ hiểu và trực quan.
Hiện tại) Đại diện HyperStep, doanh nghiệp nội dung giáo dục Hơn 20 năm kinh nghiệm phát triển phần mềm
Cựu nhân viên Coupang Cựu nhân viên Hyperconnect Cựu nhân viên Kakao Cựu nhân viên Kakao Entertainment Cựu nhân viên Polaris Office (Infraware)