inflearn logo

Tạo bộ tăng tốc AI bằng FPGA — Từ xử lý hình ảnh đến huấn luyện CNN và kiểm chứng phần cứng

Nhiều người đã học về FPGA và Verilog nhưng lại gặp khó khăn ở câu hỏi "Vậy làm thế nào để trực tiếp tạo ra một bộ tăng tốc AI?". Khóa học này sẽ giải đáp thắc mắc đó. Chỉ với một tấm FPGA phổ thông và các công cụ miễn phí, bạn sẽ bắt đầu từ việc tự tay thiết kế kernel 3×3, trực tiếp huấn luyện CNN, lượng tử hóa các trọng số đã học sang INT8 để đưa vào phần cứng, và cuối cùng là kiểm chứng xem nó có khớp hoàn toàn (Bit-True) với mô hình Python đến từng bit hay không. Với 30 năm kinh nghiệm trong ngành bán dẫn và tư cách là giáo sư đương nhiệm, tôi chỉ dạy những nội dung đã được kiểm chứng trên FPGA thực tế dưới dạng các 'mạch điện hoạt động được'. Thay vì lý thuyết suông, bạn sẽ có được trải nghiệm tự tay thiết kế và chứng minh, từ đó trang bị năng lực thực chiến đáp ứng yêu cầu trong lĩnh vực thiết kế Fabless và chip bán dẫn AI.

10 học viên đang tham gia khóa học này

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

FPGA
FPGA
Verilog HDL
Verilog HDL
vivado
vivado
CNN
CNN
AI
AI
FPGA
FPGA
Verilog HDL
Verilog HDL
vivado
vivado
CNN
CNN
AI
AI

Bạn sẽ nhận được điều này sau khi học.

  • Khả năng trực tiếp thiết kế bộ tăng tốc nhận dạng hình ảnh, từ nhân 3×3 đến CNN, và vận hành trên FPGA

  • Kỹ năng thực tiễn trong việc lượng tử hóa (PTQ·QAT) các trọng số số thực đã huấn luyện sang INT8 để triển khai lên phần cứng.

  • Khả năng kiểm chứng Bit-True đối chiếu mô hình tham chiếu Python và Verilog RTL theo từng đơn vị 1-bit.

  • Khả năng triển khai pipeline xử lý hình ảnh thời gian thực (bộ lọc pixel, tích chập 3×3) trên FPGA

  • Khả năng trực tiếp thiết kế các cấu trúc tính toán thân thiện với phần cứng như Line Buffer, Winner-Take-All, Argmax, v.v.

  • Kinh nghiệm thực tế trong việc xử lý hai miền xung nhịp (clock domain) và căn chỉnh thời gian (timing) trong thực hành FPGA.

  • Kết quả là một bộ tăng tốc AI hoạt động thực tế, có thể dùng làm portfolio, được hoàn thành chỉ với các công cụ miễn phí và một tấm FPGA.

■ Giới thiệu bài giảng

Đây là khóa học thực hành giúp bạn trực tiếp thiết kế, huấn luyện và kiểm chứng bộ tăng tốc AI (NPU) chỉ với một bo mạch FPGA phổ thông (Arty S7-25) và công cụ miễn phí (Vivado). Bắt đầu từ việc tự tay thiết kế kernel 3×3, bạn sẽ trực tiếp huấn luyện CNN, lượng tử hóa các trọng số số thực đã học sang INT8 để đưa lên FPGA, sau đó kiểm chứng xem kết quả có khớp hoàn toàn (Bit-True) với mô hình tham chiếu bằng Python hay không. Không chỉ dừng lại ở việc giải thích khái niệm, bạn sẽ được tận mắt xác nhận mạch điện mình thiết kế hoạt động trên phần cứng thực tế, và toàn bộ mã nguồn đều được công khai trên GitHub.

■ Nội dung khóa học này bao gồm

Từ xử lý hình ảnh đến thiết kế bộ tăng tốc AI, khóa học được chia thành hai lộ trình tiếp nối nhau.

· Xử lý hình ảnh thời gian thực — Pipeline truyền phát pixel (pixel streaming pipeline), tích chập 3×3 (3×3 convolution), bộ đệm dòng (line buffer)

· Nhập môn tăng tốc AI — Bộ phân loại kernel cố định → Huấn luyện·Lượng tử hóa CNN (PTQ·QAT) → Xác thực Bit-True trọng số huấn luyện

Bắt đầu từ việc thiết kế thủ công, tiến tới việc kiểm chứng các trọng số đã được máy học trên phần cứng.

■ Khuyên dùng cho những đối tượng sau

· Những người đang chuẩn bị xin việc trong lĩnh vực thiết kế Front-end tại các công ty bán dẫn Fabless, nhưng đang cảm thấy bế tắc vì chỉ biết lý thuyết mà chưa có kinh nghiệm thiết kế thực tế.

· Kỹ sư cấp dưới (junior) đã từng làm việc với FPGA·Verilog nhưng chưa tiến tới giai đoạn tự mình thiết kế và kiểm chứng bộ tăng tốc AI (AI accelerator)

· Sinh viên chuyên ngành Điện tử · Kỹ thuật máy tính, những người cần portfolio hiện thực hóa chip bán dẫn AI trong thực tế

· Những người muốn chuyển việc sang lĩnh vực chip bán dẫn hệ thống AI và cần phương pháp để chứng minh năng lực phần cứng thực chiến

■ Sau khi học khóa học này

· Khả năng trực tiếp thiết kế bộ tăng tốc nhận diện hình ảnh từ nhân 3×3 đến CNN và vận hành trên FPGA

· Khả năng thực chiến trong việc lượng tử hóa trọng số số thực đã học sang INT8 (PTQ·QAT) để đưa lên phần cứng

· Khả năng kiểm chứng Bit-True, đối chiếu mô hình tham chiếu Python và Verilog RTL chính xác đến từng đơn vị 1-bit

· Khả năng trực tiếp thiết kế các cấu trúc tính toán thân thiện với phần cứng như Line Buffer, Winner-Take-All, Argmax, v.v.

· Sản phẩm bộ tăng tốc AI hoạt động thực tế, có thể sử dụng ngay cho hồ sơ năng lực (portfolio) và phỏng vấn

■ Kiến thức tiên quyết

· Kiến thức cơ bản về ngôn ngữ C, kiến thức cơ bản về mạch logic kỹ thuật số

· Kinh nghiệm về cú pháp Verilog-HDL và tổng hợp·thực thi FPGA

· Sử dụng Python cơ bản

· Khái niệm cơ bản về CNN và mạng thần kinh (Neural Network)

■ Chuẩn bị trước khi học (Quan trọng)

Khóa học này được tiến hành với tiền đề là môi trường Vivado và Python đã được cài đặt, và bạn có thể thực hiện các mô phỏng cơ bản. Việc thiết lập môi trường cơ bản dưới đây sẽ không được hướng dẫn chi tiết trong khóa học, vì vậy vui lòng chuẩn bị trước.

- Cài đặt và sử dụng cơ bản Vivado

- Cài đặt Python(Anaconda/Jupyter)

- Kiến thức cơ bản về Verilog-HDL

Các kiến thức cơ bản trên đã được hướng dẫn trong các video miễn phí trên kênh YouTube của tôi (@EdgeChipLab), hoặc bạn cũng có thể tham khảo các tài liệu khác trên thị trường. Khóa học này sẽ tập trung vào phần "Xử lý hình ảnh, Thiết kế · Huấn luyện · Kiểm chứng bộ tăng tốc AI" dựa trên những nền tảng cơ bản đó.

■ Môi trường thực hành · Vật dụng chuẩn bị

· Bo mạch FPGA: Digilent Arty S7-25

· Màn hình: Pmod OLEDrgb (SSD1331, 96×64) — Dùng để hiển thị hình ảnh đầu vào và kết quả

· Công cụ: Xilinx Vivado (miễn phí), Python (Anaconda/Jupyter)

· Nguồn thực hành: Công khai toàn bộ trên GitHub (RTL·Python·Testbench·.mem)

· Đầu vào sử dụng hình ảnh đã lưu (.mem) và không cần máy ảnh.

· Có thể học từ hình ảnh cho đến mô phỏng Vivado ngay cả khi không có board mạch hay màn hình OLED

■ Điểm mạnh riêng biệt của khóa học này

· Vòng lặp hoàn chỉnh từ Thiết kế → Học tập → Xác thực phần cứng

· Xác minh Bit-True 100% — Chứng minh không chỉ là 'chạy được' mà là 'chính xác hoàn toàn với Python'

· Với một tấm FPGA phổ thông và công cụ miễn phí, hoàn thành khóa học mà không bị giới hạn về thời gian và địa điểm

· Công khai toàn bộ trên GitHub, có thể tải về và tái hiện ngay lập tức

· Giáo sư đương nhiệm với 30 năm kinh nghiệm trong ngành bán dẫn, chỉ truyền đạt những nội dung đã được kiểm chứng trên FPGA thực tế

■ Tham khảo

· Tất cả nội dung thiết kế và triển khai trong bài giảng này đều do giảng viên trực tiếp biên soạn, và phần thuyết minh (giọng nói) được tạo bằng công nghệ TTS.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Những người đang chuẩn bị xin việc trong lĩnh vực thiết kế Front-end Fabless bán dẫn, nhưng đang cảm thấy bế tắc vì chỉ biết lý thuyết mà chưa có kinh nghiệm thiết kế thực tế.

  • Kỹ sư trẻ đã từng làm việc với FPGA·Verilog nhưng chưa tiến lên được giai đoạn tự thiết kế và kiểm thử bộ tăng tốc AI (AI accelerator)

  • Dành cho sinh viên chuyên ngành Kỹ thuật Điện tử - Máy tính, những người cần một bộ hồ sơ năng lực (portfolio) về việc hiện thực hóa chip bán dẫn AI trong thực tế.

  • Những người đang muốn chuyển việc sang lĩnh vực bán dẫn hệ thống AI và cần phương pháp để chứng minh năng lực phần cứng thực tế.

Cần biết trước khi bắt đầu?

  • C cơ bản

  • Cơ sở mạch logic kỹ thuật số

  • Cú pháp Verilog-HDL (Có thể học trước qua video miễn phí Level 1 trên YouTube)

  • Cài đặt Vivado · Python (Anaconda/Jupyter) và thực hiện mô phỏng cơ bản

Xin chào
Đây là EdgeChipLab

Xác minh sự nghiệp

"Trong thời đại AI, cách ứng phó chắc chắn nhất là tự mình chế tạo chất bán dẫn AI."

Quá trình này không phải là các bài giảng đại học thông thường lấy lý thuyết làm trọng tâm, cũng không phải chương trình đào tạo được chuẩn hóa của các khoa liên kết doanh nghiệp chỉ dừng ở việc đáp ứng những yêu cầu đặc thù về thông số. Ngoài ra, chương trình cũng không chỉ dừng lại ở kinh nghiệm sử dụng công cụ EDA hay khai thác thư viện như các hội thảo thực tiễn rời rạc hiện nay.

Khởi đầu với vai trò nhà nghiên cứu chất bán dẫn hệ thống tại Bộ phận DS của Samsung Electronics, giành Giải Bạc Giải thưởng Công nghệ Samsung (Giải thưởng của Chủ tịch Tập đoàn) trong lĩnh vực tự động hóa thiết kế, đồng thời từng đảm nhiệm vị trí Director tại các pháp nhân ở Anh và Đức cũng như Trưởng nhóm Tiếp thị & Kinh doanh System LSI, đây là khóa học thực tiễn độc đáo do một giáo sư kỹ thuật đang hành nghề với 30 năm kinh nghiệm trực tiếp thiết kế và kiểm chứng trên FPGA.

[ Điểm khác biệt cốt lõi dành cho nhân sự đang làm việc trong ngành & kỹ sư tương lai ]

  • Vượt qua giới hạn của kỹ sư đang làm việc trong ngành: Không chỉ dừng lại ở việc chỉnh sửa mã hoặc sử dụng IP có sẵn, bạn sẽ xây dựng năng lực thực tiễn ở cấp độ kiến trúc để trực tiếp thiết kế NPU và CPU bằng RTL.

  • Xây dựng quy trình thực hành Full-Flow: Hoàn thiện toàn bộ chuỗi giá trị từ phân tích thuật toán AI đến triển khai FPGA và kiểm chứng tích hợp phần cứng Bit-True, rồi mở rộng SoC AI dựa trên CPU + NPU + RTOS.

  • Đã được kiểm chứng thực tế: Vượt ra ngoài lý thuyết trong giảng đường đại học, khóa học chắt lọc những bí quyết thiết kế từ tuyến đầu ngành và cung cấp quy trình đã được kiểm chứng, có thể áp dụng ngay vào thực tế.

Thuật toán AI → Thiết kế RTL → Triển khai FPGA → Xác minh Bit-True → SoC AI

Không chỉ dành cho sinh viên đại học và học viên cao học, khóa học còn cung cấp hướng dẫn thực chiến tốt nhất, không thể thay thế, cho cả những người đang đi làm mong muốn vươn lên trở thành nhà thiết kế chất bán dẫn AI/SoC thế hệ tiếp theo.

 

Từ lý thuyết đến triển khai phần cứng AI thực tế

Chỉ với những kiến thức rời rạc và manh mún thì khó có thể đạt được năng lực thiết kế chất bán dẫn AI ở cấp độ hệ thống.

Học viên không chỉ dừng lại ở việc sử dụng các IP hộp đen đã hoàn thiện. Mục tiêu là từng bước trang bị năng lực thiết kế hệ thống, bao gồm tự thiết kế AI NPU và CPU RISC-V, tích hợp bộ nhớ và các thiết bị ngoại vi, port RTOS trên đó, và cuối cùng có thể xây dựng SoC AI của riêng mình.

Bắt đầu từ nền tảng về transistor và mạch kỹ thuật số, khóa học kết nối các kiến thức này qua FPGA, CPU, NPU, cho đến phần cứng tăng tốc Transformer và LLM.

 

Kiểm chứng kết quả nghiên cứu trên phần cứng FPGA thực tế.

Đây không phải là một khóa học chỉ để xem bằng mắt. Không dừng lại ở lý thuyết hay mô phỏng đơn thuần, bạn sẽ cho mạch bán dẫn AI do chính mình thiết kế hoạt động trên FPGA thực tế và thực hiện kiểm chứng Bit-True, trong đó kết quả của mô hình Python và RTL khớp nhau đến từng bit.

Kết nối các kết quả nghiên cứu, bao gồm 4 bài báo được đăng trên KCI của giảng viên về AI bán dẫn, FPGA và RISC-V, với nội dung đào tạo, từ đó đưa các công nghệ đã được kiểm chứng trong nghiên cứu vào thiết kế thực tế và triển khai trên FPGA. Chúng tôi công khai mã nguồn cần thiết cho phần thực hành, bao gồm CPU RISC-V do chính chúng tôi phát triển, mã Python dùng để huấn luyện hình ảnh và Verilog RTL.

Được xây dựng xoay quanh bo mạch FPGA Arty S7-25 phổ thông và công cụ thiết kế Vivado miễn phí, khóa học giúp người học có thể tự mình tái hiện toàn bộ quy trình từ thiết kế, triển khai đến kiểm chứng. Ngoài ra, khóa học cũng có thể sử dụng trên các bo mạch FPGA của Digilent, bao gồm cả Zybo Z7. Bạn chỉ cần điều chỉnh ánh xạ chân XDC (bo mạch) và các tham số chia tần số xung nhịp (RTL) cho phù hợp với bo mạch. Đối với khóa học 'NPU MNIST được xây dựng bằng FPGA', chỉ cần điều chỉnh ánh xạ chân XDC; còn các khóa học sử dụng OLED và Camera thì cần điều chỉnh các tham số chia tần số xung nhịp (RTL).

→ Phần thực hành của khóa học được thiết lập các tham số chia tần dựa trên xung nhịp đầu vào 100 MHz của Arty S7. Vì các bo mạch khác có xung nhịp đầu vào khác nhau (ví dụ: Zybo Z7 là 125 MHz), bạn cần tính lại giá trị chia tần để tần số mục tiêu vẫn giữ nguyên. Nếu bỏ qua phần này, màn hình hoặc video sẽ không hiển thị bình thường, vì vậy rất dễ nhầm là lỗi mã. Vui lòng kiểm tra.

 

Lộ trình full-stack liền mạch: từ nền tảng đến bộ tăng tốc mini LLM

Tất cả các bài giảng không phải là những mảnh ghép rời rạc, mà là hành trình hoàn thiện một hệ thống khổng lồ.

  • Step 1: Cơ bản về lý thuyết AI và xử lý hình ảnh (bao gồm Machine Learning)

  • Step 2: Thiết kế và kiểm chứng bộ tăng tốc AI (NPU) (bao gồm Machine Learning)

  • Bước 3: Thiết kế CPU RISC-V và tích hợp hệ thống

  • Bước 4: Triển khai SoC AI nâng cao và mở rộng thành nền tảng tăng tốc mini LLM (liên tục cập nhật nội dung)

     

 

Các chỉ số kiểm chứng khách quan

Tất cả sản phẩm thiết kế của khóa học này đều đã trải qua quá trình kiểm chứng nghiêm ngặt theo các tiêu chuẩn toàn cầu và giới học thuật.

  • Kiểm chứng kiến trúc RISC-V: CPU RISC-V do chúng tôi tự phát triển đã vượt qua bài kiểm tra tuân thủ chính thức (ACT) của quỹ quốc tế và công khai mã nguồn (GitHub)

  • Uy tín học thuật: 4 bài báo học thuật với tư cách tác giả duy nhất (đăng trên tạp chí học thuật danh tiếng IJIBC được KCI xếp hạng A)

  • Được công nhận trên toàn cầu: Đã xuất bản 4 cuốn sách kỹ thuật trên Amazon toàn cầu (đạt vị trí số 1 về doanh số bán chạy nhất)


    Sách đã xuất bản: Roger Kim: sách, tiểu sử, cập nhật mới nhất

  • Hoàn tất xác minh hoạt động thực tế: Các IP cốt lõi như CPU RV32I, NPU, hệ thống thị giác, GPS, Transformer, SoC AURA-Edge đã hoạt động hoàn hảo trong môi trường Arty S7

     

Hãy thử thách bản thân. Khi hoàn thành quá trình tự mình tải mã lên bo mạch và kiểm tra kết quả này, bạn sẽ nâng cấp thành một kỹ sư phần cứng với góc nhìn hoàn toàn khác trước.

Thêm

Chương trình giảng dạy

Tất cả

5 bài giảng ∙ (3giờ 6phút)

Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của EdgeChipLab

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Giảm 25% cho thành viên mới

3.381.398 ₫

25%

4.508.528 ₫