inflearn logo

Tạo bộ tăng tốc AI bằng FPGA — Từ xử lý hình ảnh đến huấn luyện CNN và kiểm chứng phần cứng

Nhiều người đã học về FPGA và Verilog nhưng lại gặp khó khăn ở câu hỏi "Vậy làm thế nào để trực tiếp tạo ra một bộ tăng tốc AI?". Khóa học này sẽ giải đáp thắc mắc đó. Chỉ với một tấm FPGA phổ thông và các công cụ miễn phí, bạn sẽ bắt đầu từ việc tự tay thiết kế kernel 3×3, trực tiếp huấn luyện CNN, lượng tử hóa các trọng số đã học sang INT8 để đưa vào phần cứng, và cuối cùng là kiểm chứng xem nó có khớp hoàn toàn (Bit-True) với mô hình Python đến từng bit hay không. Với 30 năm kinh nghiệm trong ngành bán dẫn và tư cách là giáo sư đương nhiệm, tôi chỉ dạy những nội dung đã được kiểm chứng trên FPGA thực tế dưới dạng các 'mạch điện hoạt động được'. Thay vì lý thuyết suông, bạn sẽ có được trải nghiệm tự tay thiết kế và chứng minh, từ đó trang bị năng lực thực chiến đáp ứng yêu cầu trong lĩnh vực thiết kế Fabless và chip bán dẫn AI.

9 học viên đang tham gia khóa học này

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

FPGA
FPGA
Verilog HDL
Verilog HDL
vivado
vivado
CNN
CNN
AI
AI
FPGA
FPGA
Verilog HDL
Verilog HDL
vivado
vivado
CNN
CNN
AI
AI

Bạn sẽ nhận được điều này sau khi học.

  • Khả năng trực tiếp thiết kế bộ tăng tốc nhận dạng hình ảnh, từ nhân 3×3 đến CNN, và vận hành trên FPGA

  • Kỹ năng thực tiễn trong việc lượng tử hóa (PTQ·QAT) các trọng số số thực đã huấn luyện sang INT8 để triển khai lên phần cứng.

  • Khả năng kiểm chứng Bit-True đối chiếu mô hình tham chiếu Python và Verilog RTL theo từng đơn vị 1-bit.

  • Khả năng triển khai pipeline xử lý hình ảnh thời gian thực (bộ lọc pixel, tích chập 3×3) trên FPGA

  • Khả năng trực tiếp thiết kế các cấu trúc tính toán thân thiện với phần cứng như Line Buffer, Winner-Take-All, Argmax, v.v.

  • Kinh nghiệm thực tế trong việc xử lý hai miền xung nhịp (clock domain) và căn chỉnh thời gian (timing) trong thực hành FPGA.

  • Kết quả là một bộ tăng tốc AI hoạt động thực tế, có thể dùng làm portfolio, được hoàn thành chỉ với các công cụ miễn phí và một tấm FPGA.

■ Giới thiệu bài giảng

Đây là khóa học thực hành giúp bạn trực tiếp thiết kế, huấn luyện và kiểm chứng bộ tăng tốc AI (NPU) chỉ với một bo mạch FPGA phổ thông (Arty S7-25) và công cụ miễn phí (Vivado). Bắt đầu từ việc tự tay thiết kế kernel 3×3, bạn sẽ trực tiếp huấn luyện CNN, lượng tử hóa các trọng số số thực đã học sang INT8 để đưa lên FPGA, sau đó kiểm chứng xem kết quả có khớp hoàn toàn (Bit-True) với mô hình tham chiếu bằng Python hay không. Không chỉ dừng lại ở việc giải thích khái niệm, bạn sẽ được tận mắt xác nhận mạch điện mình thiết kế hoạt động trên phần cứng thực tế, và toàn bộ mã nguồn đều được công khai trên GitHub.

■ Nội dung khóa học này bao gồm

Từ xử lý hình ảnh đến thiết kế bộ tăng tốc AI, khóa học được chia thành hai lộ trình tiếp nối nhau.

· Xử lý hình ảnh thời gian thực — Pipeline truyền phát pixel (pixel streaming pipeline), tích chập 3×3 (3×3 convolution), bộ đệm dòng (line buffer)

· Nhập môn tăng tốc AI — Bộ phân loại kernel cố định → Huấn luyện·Lượng tử hóa CNN (PTQ·QAT) → Xác thực Bit-True trọng số huấn luyện

Bắt đầu từ việc thiết kế thủ công, tiến tới việc kiểm chứng các trọng số đã được máy học trên phần cứng.

■ Khuyên dùng cho những đối tượng sau

· Những người đang chuẩn bị xin việc trong lĩnh vực thiết kế Front-end tại các công ty bán dẫn Fabless, nhưng đang cảm thấy bế tắc vì chỉ biết lý thuyết mà chưa có kinh nghiệm thiết kế thực tế.

· Kỹ sư cấp dưới (junior) đã từng làm việc với FPGA·Verilog nhưng chưa tiến tới giai đoạn tự mình thiết kế và kiểm chứng bộ tăng tốc AI (AI accelerator)

· Sinh viên chuyên ngành Điện tử · Kỹ thuật máy tính, những người cần portfolio hiện thực hóa chip bán dẫn AI trong thực tế

· Những người muốn chuyển việc sang lĩnh vực chip bán dẫn hệ thống AI và cần phương pháp để chứng minh năng lực phần cứng thực chiến

■ Sau khi học khóa học này

· Khả năng trực tiếp thiết kế bộ tăng tốc nhận diện hình ảnh từ nhân 3×3 đến CNN và vận hành trên FPGA

· Khả năng thực chiến trong việc lượng tử hóa trọng số số thực đã học sang INT8 (PTQ·QAT) để đưa lên phần cứng

· Khả năng kiểm chứng Bit-True, đối chiếu mô hình tham chiếu Python và Verilog RTL chính xác đến từng đơn vị 1-bit

· Khả năng trực tiếp thiết kế các cấu trúc tính toán thân thiện với phần cứng như Line Buffer, Winner-Take-All, Argmax, v.v.

· Sản phẩm bộ tăng tốc AI hoạt động thực tế, có thể sử dụng ngay cho hồ sơ năng lực (portfolio) và phỏng vấn

■ Kiến thức tiên quyết

· Kiến thức cơ bản về ngôn ngữ C, kiến thức cơ bản về mạch logic kỹ thuật số

· Kinh nghiệm về cú pháp Verilog-HDL và tổng hợp·thực thi FPGA

· Sử dụng Python cơ bản

· Khái niệm cơ bản về CNN và mạng thần kinh (Neural Network)

■ Chuẩn bị trước khi học (Quan trọng)

Khóa học này được tiến hành với tiền đề là môi trường Vivado và Python đã được cài đặt, và bạn có thể thực hiện các mô phỏng cơ bản. Việc thiết lập môi trường cơ bản dưới đây sẽ không được hướng dẫn chi tiết trong khóa học, vì vậy vui lòng chuẩn bị trước.

- Cài đặt và sử dụng cơ bản Vivado

- Cài đặt Python(Anaconda/Jupyter)

- Kiến thức cơ bản về Verilog-HDL

Các kiến thức cơ bản trên đã được hướng dẫn trong các video miễn phí trên kênh YouTube của tôi (@EdgeChipLab), hoặc bạn cũng có thể tham khảo các tài liệu khác trên thị trường. Khóa học này sẽ tập trung vào phần "Xử lý hình ảnh, Thiết kế · Huấn luyện · Kiểm chứng bộ tăng tốc AI" dựa trên những nền tảng cơ bản đó.

■ Môi trường thực hành · Vật dụng chuẩn bị

· Bo mạch FPGA: Digilent Arty S7-25

· Màn hình: Pmod OLEDrgb (SSD1331, 96×64) — Dùng để hiển thị hình ảnh đầu vào và kết quả

· Công cụ: Xilinx Vivado (miễn phí), Python (Anaconda/Jupyter)

· Nguồn thực hành: Công khai toàn bộ trên GitHub (RTL·Python·Testbench·.mem)

· Đầu vào sử dụng hình ảnh đã lưu (.mem) và không cần máy ảnh.

· Có thể học từ hình ảnh cho đến mô phỏng Vivado ngay cả khi không có board mạch hay màn hình OLED

■ Điểm mạnh riêng biệt của khóa học này

· Vòng lặp hoàn chỉnh từ Thiết kế → Học tập → Xác thực phần cứng

· Xác minh Bit-True 100% — Chứng minh không chỉ là 'chạy được' mà là 'chính xác hoàn toàn với Python'

· Với một tấm FPGA phổ thông và công cụ miễn phí, hoàn thành khóa học mà không bị giới hạn về thời gian và địa điểm

· Công khai toàn bộ trên GitHub, có thể tải về và tái hiện ngay lập tức

· Giáo sư đương nhiệm với 30 năm kinh nghiệm trong ngành bán dẫn, chỉ truyền đạt những nội dung đã được kiểm chứng trên FPGA thực tế

■ Tham khảo

· Tất cả nội dung thiết kế và triển khai trong bài giảng này đều do giảng viên trực tiếp biên soạn, và phần thuyết minh (giọng nói) được tạo bằng công nghệ TTS.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Những người đang chuẩn bị xin việc trong lĩnh vực thiết kế Front-end Fabless bán dẫn, nhưng đang cảm thấy bế tắc vì chỉ biết lý thuyết mà chưa có kinh nghiệm thiết kế thực tế.

  • Kỹ sư trẻ đã từng làm việc với FPGA·Verilog nhưng chưa tiến lên được giai đoạn tự thiết kế và kiểm thử bộ tăng tốc AI (AI accelerator)

  • Dành cho sinh viên chuyên ngành Kỹ thuật Điện tử - Máy tính, những người cần một bộ hồ sơ năng lực (portfolio) về việc hiện thực hóa chip bán dẫn AI trong thực tế.

  • Những người đang muốn chuyển việc sang lĩnh vực bán dẫn hệ thống AI và cần phương pháp để chứng minh năng lực phần cứng thực tế.

Cần biết trước khi bắt đầu?

  • C cơ bản

  • Cơ sở mạch logic kỹ thuật số

  • Cú pháp Verilog-HDL (Có thể học trước qua video miễn phí Level 1 trên YouTube)

  • Cài đặt Vivado · Python (Anaconda/Jupyter) và thực hiện mô phỏng cơ bản

Xin chào
Đây là EdgeChipLab

Xác minh sự nghiệp

Tự mình thiết kế và triển khai chất bán dẫn AI bằng FPGA

Với tư cách là giáo sư đại học đang đương nhiệm, tôi đã đưa vào đây 30 năm kinh nghiệm trong ngành công nghiệp bán dẫn hệ thống cùng bí quyết nghiên cứu và giảng dạy về bán dẫn AI.

Bắt đầu từ vị trí nghiên cứu viên bán dẫn hệ thống tại Bộ phận DS của Samsung Electronics, trải qua các vị trí Director tại chi nhánh Anh và Đức, cũng như Trưởng nhóm Marketing·Kinh doanh System LSI, hiện là giáo sư giảng dạy kỹ thuật bán dẫn, trực tiếp thiết kế và kiểm chứng trên FPGA để xây dựng chương trình đào tạo mang tính thực tiễn.

Đây không phải là khóa học chỉ đơn thuần dạy cách sử dụng FPGA.
Bạn sẽ hiểu các thuật toán AI → trực tiếp thiết kế NPU và CPU bằng RTL → triển khai trên FPGA → kiểm chứng trên phần cứng thực tế → và cuối cùng mở rộng đến AI SoC.

Thuật toán AI → Thiết kế RTL → Triển khai FPGA → Xác minh Bit-True → AI SoC

 

Vượt qua lý thuyết để hiện thực hóa phần cứng AI thực tế

Chỉ với những kiến thức rời rạc và phiến diện thì khó có thể đạt được năng lực thiết kế chất bán dẫn AI ở cấp độ hệ thống.

Học viên không chỉ dừng lại ở việc sử dụng các IP dạng hộp đen hoàn chỉnh. Mục tiêu là từng bước trang bị năng lực thiết kế hệ thống, có thể tự thiết kế AI NPU và CPU RISC-V, tích hợp bộ nhớ cùng các thiết bị ngoại vi, và cuối cùng xây dựng AI SoC của riêng mình.

Bắt đầu từ những kiến thức cơ bản về transistor và mạch số, bạn sẽ tìm hiểu xuyên suốt từ FPGA, CPU, NPU đến phần cứng tăng tốc Transformer và LLM.

 

Xác minh kết quả nghiên cứu trên phần cứng FPGA thực tế.

Đây không phải là khóa học chỉ xem bằng mắt. Không dừng lại ở lý thuyết hay mô phỏng đơn thuần, bạn sẽ cho mạch bán dẫn AI do chính mình thiết kế hoạt động trên FPGA thực tế và thực hiện kiểm chứng Bit-True, trong đó kết quả RTL khớp với mô hình Python đến từng bit.

Chúng tôi cũng kết nối các kết quả nghiên cứu, bao gồm 4 bài báo được đăng trên KCI của giảng viên về AI bán dẫn, FPGA và RISC-V với nội dung đào tạo, từ đó đưa các công nghệ đã được kiểm chứng trong nghiên cứu vào thiết kế thực tế và triển khai trên FPGA.

Công khai mã nguồn cần thiết cho thực hành, bao gồm CPU RISC-V do chúng tôi tự phát triển, mã Python dùng để huấn luyện hình ảnh và Verilog RTL.

Được xây dựng xoay quanh bo mạch FPGA Arty S7-25 phổ thông và công cụ thiết kế Vivado miễn phí, khóa học giúp người học có thể tự mình tái hiện toàn bộ quy trình từ thiết kế, triển khai đến kiểm chứng.

Ngoài ra, cũng có thể sử dụng với các bo mạch FPGA của Digilent, bao gồm Zybo Z7. Bạn chỉ cần điều chỉnh ánh xạ chân XDC (bo mạch) và tham số chia tần số xung nhịp (RTL) cho phù hợp với bo mạch.

'NPU MNIST được xây dựng bằng FPGA' chỉ cần chỉnh sửa ánh xạ chân XDC, còn các bài giảng sử dụng OLED và Camera thì cần chỉnh sửa tham số chia tần số xung nhịp (RTL).

→Phần thực hành của khóa học được thiết lập các tham số chia tần dựa trên xung nhịp đầu vào 100 MHz của Arty S7. Vì các bo mạch khác có xung nhịp đầu vào khác nhau (ví dụ: Zybo Z7 là 125 MHz), bạn cần tính toán lại giá trị chia tần để đạt được cùng tần số mục tiêu. Nếu bỏ qua phần này, màn hình hoặc video sẽ không hiển thị bình thường, và rất dễ hiểu lầm là lỗi mã, vì vậy hãy kiểm tra kỹ.

 

Lộ trình full-stack liền mạch: từ cơ bản đến bộ tăng tốc mini LLM

Tất cả các bài giảng không phải là những mảnh ghép rời rạc, mà là hành trình hoàn thiện một hệ thống khổng lồ duy nhất.

  • Bước 1: Cơ sở lý thuyết AI và xử lý hình ảnh (bao gồm Machine Learning)

  • Step 2: Thiết kế và kiểm chứng bộ gia tốc AI (NPU) (bao gồm Machine Learning)

  • Bước 3: Thiết kế CPU RISC-V và tích hợp hệ thống

  • Bước 4: Triển khai SoC AI nâng cao và mở rộng thành nền tảng tăng tốc mini LLM (liên tục cập nhật nội dung)

     

 

Các chỉ số kiểm chứng khách quan

Tất cả các sản phẩm thiết kế của khóa học này đều đã trải qua quá trình kiểm chứng nghiêm ngặt theo các tiêu chuẩn toàn cầu và giới học thuật.

  • Xác minh kiến trúc RISC-V: CPU RISC-V do chúng tôi tự phát triển đã vượt qua bài kiểm tra tuân thủ chính thức (ACT) của tổ chức quốc tế và công khai mã nguồn (GitHub)

  • Uy tín học thuật: 4 bài báo học thuật với tư cách tác giả duy nhất (đăng trên tạp chí danh tiếng IJIBC thuộc danh mục học thuật KCI hạng A)

  • Được công nhận toàn cầu: Đã xuất bản 2 cuốn sách công nghệ trên Amazon toàn cầu (đạt hạng 3 trong danh sách bán chạy nhất)

  • Đã hoàn tất xác minh hoạt động thực tế: Các IP cốt lõi như CPU RV32I, NPU, hệ thống thị giác, GPS, Transformer, SoC AURA-Edge đều hoạt động hoàn hảo trong môi trường Arty S7

Hãy thử thách bản thân. Khi quá trình tự mình đưa mã lên bo mạch và kiểm tra kết quả này kết thúc, bạn sẽ nâng tầm trở thành một kỹ sư phần cứng với tầm nhìn hoàn toàn khác so với trước đây.

Thêm

Chương trình giảng dạy

Tất cả

5 bài giảng ∙ (3giờ 6phút)

Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của EdgeChipLab

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Giảm 25% cho thành viên mới

3.417.054 ₫

25%

4.556.074 ₫