Học tăng cường cho lập trình viên (tác giả trực tiếp giảng dạy)

Khóa học này giải thích việc học tăng cường mà không cần đến toán học. Bạn có thể tìm hiểu các khái niệm một cách dễ dàng và rõ ràng. Đúng. Bạn có thể triển khai và chạy trò chơi Tic Tac Tok thực tế bằng cách mã hóa trực tiếp RLkit được viết bằng Python, ngôn ngữ dễ tiếp cận nhất.

Thông qua bài giảng này, bạn sẽ tìm hiểu lý thuyết cơ bản về học tăng cường.

Thông qua khóa học này, bạn sẽ được học và tự mình sử dụng nhiều chức năng khác nhau của các tác nhân học máy như đa tác nhân, học theo chương trình và học phân tán. Bạn cũng sẽ được học về các thuật toán học tăng cường có khả năng ứng phó với sự tò mò dựa trên khám phá và các đầu vào thay đổi.

Hãy tự tạo chiếc xe tự lái AI của riêng bạn! Đây là khóa học thú vị và nhanh nhất để học về AI và học tăng cường. Khóa học này được xây dựng bởi nhà phát triển đứng số 1 bảng xếp hạng DeepRacer tại Hàn Quốc.

Thông qua bài giảng này, sinh viên sẽ không chỉ học các lý thuyết khác nhau về học tăng cường và trực tiếp triển khai chúng mà còn có thể tạo ra môi trường học tăng cường để kiểm tra thuật toán học tăng cường được triển khai bằng tác nhân học máy Unity.

Nó rất hữu ích cho những ai muốn củng cố lý thuyết và các khái niệm cơ bản về học tăng cường cũng như những ai muốn tìm hiểu cách áp dụng deep learning vào học tăng cường.

Đưa mạng nơ-ron lên FPGA — nghe thì quen thuộc, nhưng số người thực sự làm được lại rất ít. Nếu muốn vượt lên một bước trong các dự án Capstone, cuộc thi kỹ thuật hay đồ án tốt nghiệp, bạn cần có khả năng tự xây dựng và chứng minh cách các phép tính của mô hình thực sự vận hành bên trong con chip, thay vì chỉ dừng lại ở việc huấn luyện mô hình. Khóa học này sẽ giúp bạn bắc qua khoảng cách giữa lý thuyết và phần cứng thực tế. Từ việc đọc đặc tả, xây dựng mô hình vàng bằng Python, huấn luyện Machine Learning, thiết kế Verilog RTL cho đến kiểm chứng trên FPGA, bạn sẽ tự hoàn thiện từ đầu đến cuối một bộ tăng tốc mạng nơ-ron (NPU) nhận diện các chữ số MNIST viết tay của người thật. Từ lớp Conv được xây dựng bằng bộ đệm dòng và các MAC song song, đi qua ReLU, MaxPool, Flatten, rồi đến lớp kết nối đầy đủ và Argmax — bạn sẽ tích hợp chín khối thành một con chip duy nhất, đồng thời tự mình chứng minh rằng "đáp án Python và đầu ra phần cứng không khác nhau dù chỉ một bit (Bit-True)". Khóa học cũng bao gồm cách vượt qua khoảnh khắc đầy bức bối khi mô phỏng vẫn chạy bình thường nhưng chỉ có kết quả là khác đi một cách tinh vi. Từng bước, tôi sẽ chỉ ra những bí quyết thực chiến mà các giáo trình deep learning thông thường không đề cập, chẳng hạn như lượng tử hóa số nguyên, chuyển đổi thứ tự trục của mảng và phòng tránh tràn bộ tích lũy. Tôi đã đưa vào khóa học những kinh nghiệm và sai lầm tích lũy được qua thời gian dài thiết kế CPU RISC-V và kiểm chứng FPGA Bit-True, để các bạn không phải lặp lại chúng. Khi kết thúc khóa học, bạn sẽ có trong tay một dự án phần cứng hoàn chỉnh và có thể tự tin nói rằng: "Tôi đã trực tiếp thiết kế và chứng minh nó.&quot

Đây là khóa học dựa trên <Mô hình ngôn ngữ lớn, nhanh chóng nắm bắt những điểm cốt lõi!> (Insight, 2025), trình bày về lý thuyết và các ví dụ thực tiễn của LLM.

Đây là khóa học đại số tuyến tính, trong đó bạn sẽ tìm hiểu ý nghĩa của vector và ma trận qua hình ảnh, đồng thời tự tính toán bằng các ví dụ nhỏ. Khóa học trình bày từng bước những kiến thức toán học được sử dụng trong hồi quy tuyến tính, PCA, SVD, tensor và cơ chế attention. Không yêu cầu kiến thức lập trình.

Khi học máy học, bạn học cách nâng cao độ chính xác. Nhưng ngay khoảnh khắc muốn đưa mô hình đó lên một con chip thực tế, vẫn còn những câu hỏi mà không ai nói cho bạn biết. Mô hình này thực hiện bao nhiêu phép nhân? Nó cần ghi nhớ bao nhiêu và những gì? Thông số của con chip đang nhắm tới có đáp ứng được các yêu cầu đó không? Giáo trình máy học nói về độ chính xác, còn giáo trình bán dẫn nói về mạch điện, nhưng tài liệu kết nối hai lĩnh vực này lại rất hiếm. Khi triển khai CPU RISC-V và NPU trên FPGA, tôi đã nhiều lần đối mặt với khoảng cách đó. Đó là tình huống mô hình có độ chính xác cao nhất lại không thể chạy trên bo mạch. Trong khóa học này, bạn sẽ trực tiếp xây dựng sáu thuật toán bằng Python, đồng thời đo số phép nhân, phép so sánh, bộ nhớ và độ chính xác ở mỗi bước. Sau đó, các giá trị này được quy đổi thành tài nguyên trên một bo mạch FPGA thực tế. Chỉ nói “bao nhiêu phép nhân” thì không đủ để hình dung quy mô, nhưng nếu nói “chiếm bao nhiêu phần trăm tài nguyên của bo mạch” thì bạn có thể đưa ra quyết định. Sau khi hoàn thành chín Lab và đưa sáu mô hình vào cùng một bảng, bạn sẽ thấy một bức tranh khác với dự đoán. Chúng ta đã dành chín bài để đếm số phép nhân, nhưng thứ thực sự trở thành nút thắt lại không phải là phép nhân. Sau đó, chúng ta sẽ hạ độ chính xác xuống dạng số nguyên, quản lý số chữ số và xây dựng cả tiêu chí để đánh giá mạch. Bạn không cần có bo mạch FPGA. Khóa học được thực hiện hoàn toàn bằng Python, còn bo mạch chỉ được sử dụng làm 기준 để quy đổi các giá trị đo được.

Bạn sẽ được thực hành tạo ứng dụng Android/iOS dựa trên mô hình học máy đơn giản, đồng thời tìm hiểu về các kiến thức cơ bản về học máy, quy trình chuyển đổi mô hình bằng TFLite và cách triển khai ứng dụng Android/iOS.

Hãy triển khai khung deep learning trực tiếp trong Excel! Hãy cùng giải quyết việc học có giám sát/học không giám sát/học tăng cường bằng cách sử dụng khung đã triển khai!