inflearn logo

Tạo bộ tăng tốc AI bằng FPGA — Từ xử lý hình ảnh đến huấn luyện CNN và kiểm chứng phần cứng

Nhiều người đã học về FPGA và Verilog nhưng lại gặp khó khăn ở câu hỏi "Vậy làm thế nào để trực tiếp tạo ra một bộ tăng tốc AI?". Khóa học này sẽ giải đáp thắc mắc đó. Chỉ với một tấm FPGA phổ thông và các công cụ miễn phí, bạn sẽ bắt đầu từ việc tự tay thiết kế kernel 3×3, trực tiếp huấn luyện CNN, lượng tử hóa các trọng số đã học sang INT8 để đưa vào phần cứng, và cuối cùng là kiểm chứng xem nó có khớp hoàn toàn (Bit-True) với mô hình Python đến từng bit hay không. Với 30 năm kinh nghiệm trong ngành bán dẫn và tư cách là giáo sư đương nhiệm, tôi chỉ dạy những nội dung đã được kiểm chứng trên FPGA thực tế dưới dạng các 'mạch điện hoạt động được'. Thay vì lý thuyết suông, bạn sẽ có được trải nghiệm tự tay thiết kế và chứng minh, từ đó trang bị năng lực thực chiến đáp ứng yêu cầu trong lĩnh vực thiết kế Fabless và chip bán dẫn AI.

2 học viên đang tham gia khóa học này

Độ khó Trung cấp trở lên

Thời gian Không giới hạn

FPGA
FPGA
Verilog HDL
Verilog HDL
vivado
vivado
CNN
CNN
AI
AI
FPGA
FPGA
Verilog HDL
Verilog HDL
vivado
vivado
CNN
CNN
AI
AI

Bạn sẽ nhận được điều này sau khi học.

  • Khả năng trực tiếp thiết kế bộ tăng tốc nhận dạng hình ảnh, từ nhân 3×3 đến CNN, và vận hành trên FPGA

  • Kỹ năng thực tiễn trong việc lượng tử hóa (PTQ·QAT) các trọng số số thực đã huấn luyện sang INT8 để triển khai lên phần cứng.

  • Khả năng kiểm chứng Bit-True đối chiếu mô hình tham chiếu Python và Verilog RTL theo từng đơn vị 1-bit.

  • Khả năng triển khai pipeline xử lý hình ảnh thời gian thực (bộ lọc pixel, tích chập 3×3) trên FPGA

  • Khả năng trực tiếp thiết kế các cấu trúc tính toán thân thiện với phần cứng như Line Buffer, Winner-Take-All, Argmax, v.v.

  • Kinh nghiệm thực tế trong việc xử lý hai miền xung nhịp (clock domain) và căn chỉnh thời gian (timing) trong thực hành FPGA.

  • Kết quả là một bộ tăng tốc AI hoạt động thực tế, có thể dùng làm portfolio, được hoàn thành chỉ với các công cụ miễn phí và một tấm FPGA.

■ Giới thiệu bài giảng

Đây là khóa học thực hành giúp bạn trực tiếp thiết kế, huấn luyện và kiểm chứng bộ tăng tốc AI (NPU) chỉ với một bo mạch FPGA phổ thông (Arty S7-25) và công cụ miễn phí (Vivado). Bắt đầu từ việc tự tay thiết kế kernel 3×3, bạn sẽ trực tiếp huấn luyện CNN, lượng tử hóa các trọng số số thực đã học sang INT8 để đưa lên FPGA, sau đó kiểm chứng xem kết quả có khớp hoàn toàn (Bit-True) với mô hình tham chiếu bằng Python hay không. Không chỉ dừng lại ở việc giải thích khái niệm, bạn sẽ được tận mắt xác nhận mạch điện mình thiết kế hoạt động trên phần cứng thực tế, và toàn bộ mã nguồn đều được công khai trên GitHub.

■ Nội dung khóa học này bao gồm

Từ xử lý hình ảnh đến thiết kế bộ tăng tốc AI, khóa học được chia thành hai lộ trình tiếp nối nhau.

· Xử lý hình ảnh thời gian thực — Pipeline truyền phát pixel (pixel streaming pipeline), tích chập 3×3 (3×3 convolution), bộ đệm dòng (line buffer)

· Nhập môn tăng tốc AI — Bộ phân loại kernel cố định → Huấn luyện·Lượng tử hóa CNN (PTQ·QAT) → Xác thực Bit-True trọng số huấn luyện

Bắt đầu từ việc thiết kế thủ công, tiến tới việc kiểm chứng các trọng số đã được máy học trên phần cứng.

■ Khuyên dùng cho những đối tượng sau

· Những người đang chuẩn bị xin việc trong lĩnh vực thiết kế Front-end tại các công ty bán dẫn Fabless, nhưng đang cảm thấy bế tắc vì chỉ biết lý thuyết mà chưa có kinh nghiệm thiết kế thực tế.

· Kỹ sư cấp dưới (junior) đã từng làm việc với FPGA·Verilog nhưng chưa tiến tới giai đoạn tự mình thiết kế và kiểm chứng bộ tăng tốc AI (AI accelerator)

· Sinh viên chuyên ngành Điện tử · Kỹ thuật máy tính, những người cần portfolio hiện thực hóa chip bán dẫn AI trong thực tế

· Những người muốn chuyển việc sang lĩnh vực chip bán dẫn hệ thống AI và cần phương pháp để chứng minh năng lực phần cứng thực chiến

■ Sau khi học khóa học này

· Khả năng trực tiếp thiết kế bộ tăng tốc nhận diện hình ảnh từ nhân 3×3 đến CNN và vận hành trên FPGA

· Khả năng thực chiến trong việc lượng tử hóa trọng số số thực đã học sang INT8 (PTQ·QAT) để đưa lên phần cứng

· Khả năng kiểm chứng Bit-True, đối chiếu mô hình tham chiếu Python và Verilog RTL chính xác đến từng đơn vị 1-bit

· Khả năng trực tiếp thiết kế các cấu trúc tính toán thân thiện với phần cứng như Line Buffer, Winner-Take-All, Argmax, v.v.

· Sản phẩm bộ tăng tốc AI hoạt động thực tế, có thể sử dụng ngay cho hồ sơ năng lực (portfolio) và phỏng vấn

■ Kiến thức tiên quyết

· Kiến thức cơ bản về ngôn ngữ C, kiến thức cơ bản về mạch logic kỹ thuật số

· Kinh nghiệm về cú pháp Verilog-HDL và tổng hợp·thực thi FPGA

· Sử dụng Python cơ bản

· Khái niệm cơ bản về CNN và mạng thần kinh (Neural Network)

■ Chuẩn bị trước khi học (Quan trọng)

Khóa học này được tiến hành với tiền đề là môi trường Vivado và Python đã được cài đặt, và bạn có thể thực hiện các mô phỏng cơ bản. Việc thiết lập môi trường cơ bản dưới đây sẽ không được hướng dẫn chi tiết trong khóa học, vì vậy vui lòng chuẩn bị trước.

- Cài đặt và sử dụng cơ bản Vivado

- Cài đặt Python(Anaconda/Jupyter)

- Kiến thức cơ bản về Verilog-HDL

Các kiến thức cơ bản trên đã được hướng dẫn trong các video miễn phí trên kênh YouTube của tôi (@EdgeChipLab), hoặc bạn cũng có thể tham khảo các tài liệu khác trên thị trường. Khóa học này sẽ tập trung vào phần "Xử lý hình ảnh, Thiết kế · Huấn luyện · Kiểm chứng bộ tăng tốc AI" dựa trên những nền tảng cơ bản đó.

■ Môi trường thực hành · Vật dụng chuẩn bị

· Bo mạch FPGA: Digilent Arty S7-25

· Màn hình: Pmod OLEDrgb (SSD1331, 96×64) — Dùng để hiển thị hình ảnh đầu vào và kết quả

· Công cụ: Xilinx Vivado (miễn phí), Python (Anaconda/Jupyter)

· Nguồn thực hành: Công khai toàn bộ trên GitHub (RTL·Python·Testbench·.mem)

· Đầu vào sử dụng hình ảnh đã lưu (.mem) và không cần máy ảnh.

· Có thể học từ hình ảnh cho đến mô phỏng Vivado ngay cả khi không có board mạch hay màn hình OLED

■ Điểm mạnh riêng biệt của khóa học này

· Vòng lặp hoàn chỉnh từ Thiết kế → Học tập → Xác thực phần cứng

· Xác minh Bit-True 100% — Chứng minh không chỉ là 'chạy được' mà là 'chính xác hoàn toàn với Python'

· Với một tấm FPGA phổ thông và công cụ miễn phí, hoàn thành khóa học mà không bị giới hạn về thời gian và địa điểm

· Công khai toàn bộ trên GitHub, có thể tải về và tái hiện ngay lập tức

· Giáo sư đương nhiệm với 30 năm kinh nghiệm trong ngành bán dẫn, chỉ truyền đạt những nội dung đã được kiểm chứng trên FPGA thực tế

■ Tham khảo

· Tất cả nội dung thiết kế và triển khai trong bài giảng này đều do giảng viên trực tiếp biên soạn, và phần thuyết minh (giọng nói) được tạo bằng công nghệ TTS.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Những người đang chuẩn bị xin việc trong lĩnh vực thiết kế Front-end Fabless bán dẫn, nhưng đang cảm thấy bế tắc vì chỉ biết lý thuyết mà chưa có kinh nghiệm thiết kế thực tế.

  • Kỹ sư trẻ đã từng làm việc với FPGA·Verilog nhưng chưa tiến lên được giai đoạn tự thiết kế và kiểm thử bộ tăng tốc AI (AI accelerator)

  • Dành cho sinh viên chuyên ngành Kỹ thuật Điện tử - Máy tính, những người cần một bộ hồ sơ năng lực (portfolio) về việc hiện thực hóa chip bán dẫn AI trong thực tế.

  • Những người đang muốn chuyển việc sang lĩnh vực bán dẫn hệ thống AI và cần phương pháp để chứng minh năng lực phần cứng thực tế.

Cần biết trước khi bắt đầu?

  • C cơ bản

  • Cơ sở mạch logic kỹ thuật số

  • Cú pháp Verilog-HDL (Có thể học trước qua video miễn phí Level 1 trên YouTube)

  • Cài đặt Vivado · Python (Anaconda/Jupyter) và thực hiện mô phỏng cơ bản

Xin chào
Đây là EdgeChipLab

Tôi có 30 năm kinh nghiệm trong ngành bán dẫn (Samsung Electronics) và hiện đang là giáo sư đại học.

Tôi từng là nghiên cứu viên mảng bán dẫn hệ thống tại bộ phận DS của Samsung Electronics, Giám đốc tại chi nhánh Anh và Đức, Trưởng nhóm Tiếp thị và Kinh doanh System LSI, và hiện đang giảng dạy về thiết kế bán dẫn thế hệ mới tại trường đại học.

Từ bóng bán dẫn (transistor) đến CPU·NPU·AI SoC, tôi hướng dẫn quá trình các mạch điện tự thiết kế hoạt động trên FPGA thực tế. Đặc biệt, những bài giảng này không phải là sự tập hợp các kiến thức rời rạc trên internet, mà là kết quả của việc hiện thực hóa các nghiên cứu học thuật và thiết kế đã được kiểm chứng của chính giảng viên lên phần cứng FPGA thực tế và được xác minh bằng Bit-True. Tất cả mã nguồn, bao gồm cả CPU RISC-V tự phát triển, đều được công khai trên GitHub, giúp bất kỳ ai cũng có thể tự tái hiện và kiểm chứng chỉ với một bo mạch FPGA phổ thông (Arty S7-25) và công cụ miễn phí (Vivado).

Tất cả các bài giảng được kết nối thành một lộ trình học tập duy nhất. Bắt đầu từ lý thuyết AI, tiếp nối đến xử lý hình ảnh, thiết kế và kiểm chứng bộ tăng tốc AI (NPU), và sẽ mở rộng sang các khóa học cao cấp và chuyên sâu bao gồm CPU RISC-V, NPU nâng cao, AI SoC và mini LLM. (Nội dung sẽ được cập nhật liên tục.)

[Lịch sử có thể kiểm chứng]

- Tự phát triển RISC-V CPU — Vượt qua bài kiểm tra tuân thủ chính thức (ACT) của RISC-V International Foundation, công khai mã nguồn

- 4 bài báo khoa học với tư cách là tác giả duy nhất (Đăng trên tạp chí học thuật uy tín KCI IJIBC)

- Xuất bản 2 cuốn sách trên Amazon (bao gồm AI NPU System Design with Python and Verilog, từng đứng hạng #3 Best Seller)

- Kiểm chứng hoạt động của RV32I CPU·NPU·Vision·AURA-Edge SoC trên Arty S7

YouTube @EdgeChipLab · GitHub github.com/estlit

Thêm

Chương trình giảng dạy

Tất cả

5 bài giảng ∙ (3giờ 6phút)

Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của EdgeChipLab

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

132.000 ₫

40%

4.591.930 ₫