inflearn logo

Bộ tính toán cốt lõi của AI NPU được triển khai bằng Verilog | Thực hành mảng Systolic 3×3

Đây là khóa học thực hành miễn phí, hướng dẫn trực tiếp triển khai cấu trúc tính toán song song cốt lõi của chip bán dẫn AI — Systolic Array — bằng Verilog và kiểm chứng qua mô phỏng Vivado. Thông qua ví dụ về cấu trúc Output-Stationary 3×3, bạn sẽ học từng bước từ thiết kế Processing Element, Input Skewing, phân tích Wavefront đến kiểm chứng bằng Testbench, qua đó hoàn toàn nắm vững nguyên lý tính toán cơ bản của NPU AI mà không cần bo mạch FPGA.

1 học viên đang tham gia khóa học này

Độ khó Cơ bản

Thời gian Không giới hạn

FPGA
FPGA
verilog
verilog
cpu-architecture
cpu-architecture
system-verilog
system-verilog
hardware
hardware
FPGA
FPGA
verilog
verilog
cpu-architecture
cpu-architecture
system-verilog
system-verilog
hardware
hardware
Thumbnail

Bạn sẽ nhận được điều này sau khi học.

  • Phân tích nguyên lý tính toán song song của Systolic Array và luồng dữ liệu giữa các PE

  • Thiết kế mảng PE 3×3 và bộ tính MAC sử dụng Verilog RTL

  • Mô phỏng Vivado và kiểm chứng phần cứng dựa trên Golden Reference

Bộ tính toán cốt lõi của NPU AI được triển khai bằng Verilog | Thực hành mảng tâm thu 3×3

Hãy trực tiếp triển khai và kiểm chứng cấu trúc tính toán song song của bán dẫn AI bằng Verilog!

Cốt lõi của chất bán dẫn AI là xử lý nhanh chóng và hiệu quả vô số phép nhân và phép cộng.

Khác với phương thức tính toán tuần tự thông thường, NPU AI bố trí nhiều bộ tính toán song song để xử lý dữ liệu đồng thời. Cấu trúc phần cứng tiêu biểu để triển khai phép tính song song này là Systolic Array (mảng tâm thu).

Trong khóa học này, bạn sẽ học cách triển khai Systolic Array 3×3 bằng Verilog RTL thực tế và xác minh hoạt động thông qua mô phỏng Vivado.

Không chỉ đơn thuần giải thích mã nguồn, khóa học còn từng bước kiểm tra cách dữ liệu di chuyển giữa các Processing Element (PE), mỗi PE thực hiện phép tính ở chu kỳ nào và kết quả cuối cùng có chính xác hay không.

Đây là khóa học thực hành thiết kế AI NPU miễn phí, bạn có thể học chỉ với Vivado mà không cần bo mạch FPGA.


Bạn sẽ học những nội dung như sau

Phần 1. Cấu trúc Systolic Array và thiết kế Verilog RTL

Triển khai Systolic Array Output-Stationary 3×3

Học cấu trúc cơ bản của Systolic Array và nguyên lý thực hiện phép nhân ma trận song song.

Trong cấu trúc Output-Stationary, dữ liệu đầu vào A và trọng số B di chuyển giữa các PE, còn kết quả phép nhân được lưu trữ trong bộ tích lũy bên trong mỗi PE.

  • Mảng Systolic và Luồng dữ liệu Output-Stationary

  • Cấu trúc phần tử xử lý (PE) và phép tính MAC

  • Chuyển tiếp dữ liệu đầu vào và tích lũy cục bộ

  • Xử lý dữ liệu có dấu/không dấu

  • Sử dụng cú pháp Generate để cấu hình mảng PE 3×3

Mục 2. Thiết kế Systolic Dataflow và Testbench

Triển khai Input Skewing, Wavefront và Testbench

Trong Systolic Array, dữ liệu không được đưa vào đồng thời một cách đơn giản, mà thời điểm đầu vào được điều chỉnh để dữ liệu cần thiết đến từng PE đúng lúc.

Hiểu nguyên lý của Input Skewing và Wavefront, đồng thời quan sát luồng dữ liệu thông qua Testbench.

  • Input Skewing và thời điểm dữ liệu đến nơi

  • Wavefront tiến triển theo hướng đường chéo

  • Thời điểm bắt đầu tính toán và khoảng thời gian hoạt động của từng PE

  • Bơm dữ liệu đầu vào bằng Testbench

  • Cấu trúc xác minh tự động sử dụng Golden Reference

Mục 3. Mô phỏng Vivado và mở rộng NPU

Xác minh Golden Data, phân tích hiệu năng và mở rộng NPU

Chạy mô phỏng Vivado và kiểm tra xem kết quả phép nhân ma trận 3×3 có khớp với Golden Matrix được tính trong Excel hay không.

Phân tích quá trình 9 PE thực hiện tính toán trong 7 chu kỳ và tìm hiểu đặc điểm của phép tính song song.

  • Mô phỏng hành vi Vivado

  • Phân tích Simulation Log và Waveform

  • Hoạt động của PE theo từng giai đoạn Fill, Peak và Drain

  • Wavefront 7 chu kỳ và mức độ sử dụng PE

  • So sánh Golden Matrix và xác nhận total_errors = 0

  • Cấu trúc Parametric Array và khái niệm mở rộng

  • Giới thiệu về cấu trúc ứng dụng NPU Quad-Core và CIFAR-10


Bạn sẽ nhận được gì sau khi học khóa này

1. Hiểu cấu trúc tính toán cốt lõi của NPU AI

Bạn có thể hiểu nguyên lý Systolic Array sử dụng nhiều PE để xử lý phép nhân ma trận song song.

2. Học cấu trúc thiết kế Verilog RTL thực tế

Bạn sẽ học cách xây dựng phần cứng tính toán song song bằng cách sử dụng PE, MAC, thanh ghi Forwarding và cú pháp Generate.

3. Năng lực phân tích hoạt động phần cứng theo từng chu kỳ

Input Skewing và Wavefront, đồng thời có thể theo dõi quá trình tính toán của từng PE thông qua log mô phỏng và dạng sóng.

4. Hiểu phương pháp xác minh dựa trên Golden Reference

Học cách xác minh độ chính xác của phép tính phần cứng bằng cách so sánh kết quả mô phỏng RTL với Golden Matrix trong Excel.

5. Năng lực nền tảng để thiết kế chuyên sâu AI NPU

Bắt đầu từ Systolic Array 3×3, bạn có thể hiểu các khái niệm mở rộng lên PE Array lớn hơn và kiến trúc NPU đa lõi.


Khóa học này phù hợp với những người sau

  • Những người muốn học các kiến thức cơ bản về Verilog-HDL và trải nghiệm các ví dụ thiết kế phần cứng thực tế

  • Sinh viên đại học và người mới bắt đầu muốn tìm hiểu về cấu trúc tính toán bên trong của chất bán dẫn AI và NPU

  • Dành cho những ai quan tâm đến phép tính song song và thiết kế mạch số bằng FPGA

  • Dành cho những ai muốn hiểu nguyên lý hoạt động của MAC, Processing Element và Systolic Array

  • Dành cho những ai muốn học mô phỏng Vivado và kiểm chứng dựa trên Testbench

  • Những người muốn thử sức với việc thiết kế NPU AI, bộ tăng tốc CNN và hệ thống AI dựa trên FPGA trong tương lai


Kiến thức nền tảng và những điều cần chuẩn bị

Kiến thức nền tảng khuyến nghị

  • Các khái niệm cơ bản về mạch logic số

  • Cú pháp Module, Always, Register và Generate trong Verilog-HDL

  • Nguyên lý hoạt động của mạch tuần tự dựa trên Clock

  • Khái niệm cơ bản về phép nhân ma trận

Môi trường thực hành

  • Xilinx Vivado (Mô phỏng hành vi)

  • Mã nguồn Verilog RTL và Testbench được cung cấp

  • Không cần bo mạch FPGA

Khóa học này tập trung vào thực hành mô phỏng, không bao gồm triển khai trên bo mạch FPGA và hoàn tất timing.


Từ kiến thức cơ bản đến thiết kế chip bán dẫn AI thực tế

Khóa học này là chương trình thực hành về triển khai Systolic Array, nằm trong lộ trình đào tạo FPGA·bán dẫn AI theo từng bước của EdgeChipLab.

Những người chưa quen với cú pháp Verilog-HDL nên học trước khóa học miễn phí 「Nhập môn Verilog-HDL dành cho thiết kế bán dẫn số」.

Ngoài ra, để hiểu đầy đủ nguyên lý tính toán song song của Systolic Array, bạn nên học kèm khóa lý thuyết nền tảng 「Tìm hiểu cấu trúc PE Systolic của NPU」.

Sau đó, bạn có thể mở rộng việc học thông qua các khóa thực hành thiết kế FPGA và AI NPU đa dạng do EdgeChipLab cung cấp.

Hãy trực tiếp tìm hiểu trong khóa học miễn phí lần này cách mã Verilog hoạt động như phần cứng tính toán song song thực tế.

Trường học Bán dẫn | EdgeChipLab

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Người mới bắt đầu về phần cứng muốn nắm vững kiến thức cơ bản về Verilog-HDL và trải nghiệm các ví dụ thiết kế RTL thực tế

  • Sinh viên đại học chuyên ngành kỹ thuật điện – điện tử quan tâm đến cấu trúc tính toán bên trong của chất bán dẫn AI và NPU

  • Kỹ sư hướng đến thiết kế phần cứng tính toán song song dựa trên FPGA và phát triển bộ tăng tốc CNN

Cần biết trước khi bắt đầu?

  • Khái niệm cơ bản về mạch logic số và nguyên lý hoạt động của mạch tuần tự dựa trên Clock

  • Kinh nghiệm về cú pháp cơ bản của Verilog-HDL và thiết kế mô-đun

  • Các khái niệm cơ bản về phép nhân ma trận và môi trường sử dụng trình mô phỏng Xilinx Vivado

Xin chào
Đây là EdgeChipLab

Xác minh sự nghiệp

Trực tiếp thiết kế và triển khai chất bán dẫn AI bằng FPGA

Với tư cách là giáo sư đại học đang công tác, tôi đã đúc kết 30 năm kinh nghiệm trong ngành bán dẫn hệ thống cùng bí quyết nghiên cứu và đào tạo về bán dẫn AI.

Đây là chương trình đào tạo thực tiễn do chính một giáo sư hiện đang giảng dạy kỹ thuật bán dẫn thiết kế và kiểm chứng trên FPGA, với kinh nghiệm bắt đầu từ vị trí nghiên cứu viên bán dẫn hệ thống tại Bộ phận DS của Samsung Electronics, sau đó đảm nhiệm vai trò Director tại các chi nhánh ở Anh và Đức, rồi vị trí trưởng nhóm marketing·kinh doanh System LSI.

Đây không chỉ là khóa học về cách sử dụng FPGA.
Đây là một lộ trình hướng đến việc hiểu thuật toán AI → trực tiếp thiết kế NPU và CPU bằng RTL → triển khai trên FPGA → xác minh trên phần cứng thực tế → cuối cùng mở rộng đến AI SoC.

Thuật toán AI → Thiết kế RTL → Triển khai FPGA → Xác minh Bit-True → AI SoC

 

Vượt qua lý thuyết để triển khai phần cứng AI thực tế

Chỉ với những kiến thức rời rạc và manh mún thì khó có thể đạt được năng lực thiết kế chất bán dẫn AI ở cấp độ hệ thống.

Học viên không chỉ dừng lại ở việc sử dụng các IP hộp đen hoàn chỉnh. Mục tiêu là từng bước trang bị năng lực thiết kế hệ thống, bao gồm việc tự thiết kế NPU AI và CPU RISC-V, tích hợp bộ nhớ và các thiết bị ngoại vi, và cuối cùng xây dựng SoC AI của riêng mình.

Bắt đầu từ những kiến thức cơ bản về transistor và mạch số, khóa học kết nối các nội dung từ FPGA, CPU, NPU đến phần cứng tăng tốc Transformer và LLM.

 

Kiểm chứng kết quả nghiên cứu trên phần cứng FPGA thực tế.

Đây không phải là một khóa học chỉ để xem bằng mắt. Không dừng lại ở lý thuyết hay mô phỏng đơn thuần, bạn sẽ cho mạch bán dẫn AI do chính mình thiết kế hoạt động trên FPGA thực tế và thực hiện kiểm chứng Bit-True, trong đó kết quả của mô hình Python và RTL khớp nhau đến từng bit.

Các kết quả nghiên cứu, bao gồm 4 bài báo được đăng trong KCI liên quan đến chất bán dẫn AI, FPGA và RISC-V của giảng viên cũng được kết nối với nội dung đào tạo, giúp chuyển các công nghệ đã được kiểm chứng trong nghiên cứu thành thiết kế thực tế và triển khai trên FPGA.

Công khai mã nguồn cần thiết cho thực hành, bao gồm CPU RISC-V tự phát triển, mã Python dùng để huấn luyện hình ảnh và Verilog RTL.

Được xây dựng xoay quanh bo mạch FPGA Arty S7-25 phổ thông và công cụ thiết kế Vivado miễn phí, khóa học giúp người học có thể tự mình tái hiện toàn bộ quy trình từ thiết kế, triển khai đến kiểm chứng.

Ngoài ra, cũng có thể sử dụng trên các bo mạch FPGA của Digilent, bao gồm Zybo Z7. Vui lòng điều chỉnh ánh xạ chân XDC (bo mạch) và tham số chia tần số xung nhịp (RTL) cho phù hợp với bo mạch.

'NPU MNIST được tạo bằng FPGA' chỉ cần sửa ánh xạ chân XDC, còn các bài giảng sử dụng OLED và Camera thì cần sửa tham số chia tần số xung nhịp (RTL).

→Phần thực hành của khóa học được thiết lập các tham số chia tần dựa trên xung nhịp đầu vào 100 MHz của Arty S7. Vì các bo mạch khác có xung nhịp đầu vào khác nhau (ví dụ: Zybo Z7 là 125 MHz), bạn cần tính toán lại giá trị chia tần để đạt được cùng tần số mục tiêu. Nếu bỏ qua phần này, màn hình hoặc video sẽ không hiển thị bình thường, nên rất dễ lầm tưởng là lỗi mã; vui lòng kiểm tra kỹ.

 

Lộ trình full-stack liền mạch: từ nền tảng đến bộ tăng tốc mini LLM

Tất cả các bài giảng không phải là những mảnh ghép rời rạc, mà là hành trình hoàn thiện một hệ thống khổng lồ.

  • Step 1: Cơ bản về lý thuyết AI và xử lý hình ảnh (bao gồm Machine Learning)

  • Step 2: Thiết kế và kiểm chứng bộ tăng tốc AI (NPU) (bao gồm Machine Learning)

  • Bước 3: Thiết kế CPU RISC-V và tích hợp hệ thống

  • Bước 4: Triển khai SoC AI nâng cao và mở rộng thành nền tảng tăng tốc mini LLM (liên tục cập nhật nội dung)

     

 

Các chỉ số kiểm chứng khách quan

Tất cả sản phẩm thiết kế của khóa học này đều đã trải qua quá trình kiểm chứng nghiêm ngặt theo các tiêu chuẩn toàn cầu và giới học thuật.

  • Kiểm chứng kiến trúc RISC-V: CPU RISC-V do chúng tôi tự phát triển đã vượt qua bài kiểm tra tuân thủ chính thức (ACT) của quỹ quốc tế và công khai mã nguồn (GitHub)

  • Uy tín học thuật: 4 bài báo học thuật với tư cách tác giả duy nhất (đăng trên tạp chí học thuật danh tiếng IJIBC được KCI xếp hạng A)

  • Được công nhận trên toàn cầu: Đã xuất bản 4 cuốn sách kỹ thuật trên Amazon toàn cầu (đạt vị trí số 1 về doanh số bán chạy nhất)


    Sách đã xuất bản: Roger Kim: sách, tiểu sử, cập nhật mới nhất

  • Hoàn tất xác minh hoạt động thực tế: Các IP cốt lõi như CPU RV32I, NPU, hệ thống thị giác, GPS, Transformer, SoC AURA-Edge đã hoạt động hoàn hảo trong môi trường Arty S7

     

Hãy thử thách bản thân. Khi hoàn thành quá trình tự mình tải mã lên bo mạch và kiểm tra kết quả này, bạn sẽ nâng cấp thành một kỹ sư phần cứng với góc nhìn hoàn toàn khác trước.

Thêm

Chương trình giảng dạy

Tất cả

3 bài giảng ∙ (15phút)

Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của EdgeChipLab

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Miễn phí