Bộ tính toán cốt lõi của AI NPU được triển khai bằng Verilog | Thực hành mảng Systolic 3×3

Học từng bước từ các nguyên lý cơ bản của giao thức AMBA AXI4, thiết kế Verilog RTL, kiểm chứng mô phỏng bằng Vivado đến triển khai trên FPGA. Thông qua truyền đọc/ghi đơn, truyền Burst, phân xử đa master và giải mã địa chỉ, hoàn thiện interconnect 2-Master × 2-Slave. Ngoài ra, phát triển năng lực nền tảng phần cứng để thiết kế SoC kết nối CPU RISC-V với bộ nhớ, DMA và các thiết bị ngoại vi, cũng như port FreeRTOS.

Đây là khóa học miễn phí giúp bạn học một cách có hệ thống về thiết kế FSM (Finite State Machine) — nền tảng của các mạch điều khiển bán dẫn số — từ những kiến thức cơ bản. Thông qua ví dụ Pattern Detector, bạn sẽ từng bước nắm vững quy trình thiết kế thực tế, bao gồm so sánh cấu trúc Moore và Mealy, xây dựng State Diagram, suy ra Truth Table và lập trình Verilog-HDL theo phương pháp 3-Process Coding. Khóa học giúp bạn xây dựng nền tảng lý thuyết thiết yếu về thiết kế phần cứng số như FPGA, CPU RISC-V và NPU AI.

Học một cách có hệ thống từ những kiến thức cơ bản về mạch logic số đến cú pháp Verilog-HDL, thiết kế mạch logic tổ hợp và logic tuần tự, cũng như kiểm chứng thông qua mô phỏng. Giảng viên có 30 năm kinh nghiệm tại bộ phận bán dẫn của Samsung Electronics sẽ dựa trên kinh nghiệm thực tế để giúp bạn hiểu rõ mối quan hệ giữa mã HDL và hoạt động của phần cứng thực tế, đồng thời rèn luyện khả năng viết mã RTL có thể tổng hợp.

Khóa học này miễn phí, hướng dẫn bạn tự thiết lập từ đầu môi trường phát triển AMD Vivado và Python cần thiết cho thực hành thiết kế FPGA và NPU.

Học về hệ thống 7 lĩnh vực kỹ thuật và 35 vị trí kỹ thuật được xây dựng thông qua việc phân tích tài liệu tuyển dụng của 19 công ty bán dẫn toàn cầu bởi chuyên gia có 30 năm kinh nghiệm tại Bộ phận DS của Samsung Electronics. Tìm hiểu công việc thực tế và năng lực cần thiết của từng vị trí, từ thiết kế, quy trình, linh kiện, đóng gói đến phân tích dữ liệu; khám phá các lĩnh vực mà mỗi chuyên ngành có thể theo đuổi và xây dựng chiến lược chuẩn bị xin việc. ※Hướng dẫn về ngôn ngữ giảng dạy: Slide bài giảng bằng tiếng Anh, phần thuyết minh bài giảng bằng tiếng Hàn. Đây là hình thức được thiết kế nhằm truyền đạt chính xác các thuật ngữ kỹ thuật và cách diễn đạt về vị trí công việc được sử dụng trong JD của các công ty bán dẫn toàn cầu.

Khi học về CPU và RISC-V, bạn có thể hiểu được chức năng của các lệnh nhưng lại gặp khó khăn ở những câu hỏi như: “Các lệnh này được thực thi như thế nào trên phần cứng thực tế?” và “Làm thế nào để xác nhận CPU do chính mình thiết kế thực sự hoạt động đúng?”. Nhiều tài liệu trên thị trường chỉ dừng ở việc giải thích ISA hoặc các ví dụ CPU đơn giản; trong nhiều trường hợp, người học cũng chỉ sử dụng các IP hoàn thiện. Vì vậy, không dễ để trải nghiệm toàn bộ quá trình tự thiết kế, xác minh CPU và chạy chương trình trên FPGA thực tế. Tôi đã có nhiều năm kinh nghiệm nghiên cứu, phát triển và kinh doanh trong lĩnh vực bán dẫn hệ thống, đồng thời hiện đang giảng dạy về thiết kế bán dẫn và FPGA tại trường đại học. Qua đó, tôi nhận thấy rõ khoảng cách trong quá trình học tập này. Vì vậy, khóa học được xây dựng không theo phương pháp cung cấp một CPU hoàn thiện rồi chỉ kiểm tra hoạt động, mà bắt đầu từ câu hỏi “Cần có những phần cứng nào để thực thi các lệnh RV32I?”, từ đó trực tiếp thiết kế cấu trúc CPU theo phương pháp White Box. Trong Volume 3, dựa trên TinyRV32I của Volume 2, chúng ta mở rộng thành CPU 32-bit Full-Version sử dụng 40 lệnh RV32I. Data path, Decoder, Branch·Jump và Byte/Halfword Memory Access được mở rộng; đồng thời triển khai Forwarding và Load-Use Interlock để Pipeline 5 tầng có thể tự xử lý các phụ thuộc dữ liệu. Tiếp đó, bằng cách tích hợp CSR, Exception, Interrupt, Trap và MRET, chúng ta hoàn thiện một CPU có khả năng xử lý không chỉ việc thực thi chương trình thông thường mà cả các ngoại lệ và sự kiện bên ngoài. Quá trình thiết kế không kết thúc ở RTL Simulation. Chúng ta sẽ thực thi chương trình thực tế trên CPU, so sánh kết quả với Spike Reference Model, đồng thời học về mục đích cũng như quy trình thực hiện và đánh giá của RISC-V Architecture Compatibility Test thông qua các trường hợp xác minh thực tế. Cuối cùng, CPU đã được xác minh sẽ được triển khai trên FPGA Arty S7-25, nhận đầu vào từ Switch và Button, thực thi chương trình và kiểm tra kết quả được xuất ra LED. Vấn đề mà khóa học này hướng tới không đơn giản chỉ là biết thêm nhiều lệnh RISC-V. Mục tiêu là kết nối các bước từ lệnh → kiến trúc CPU → Verilog RTL → điều khiển Pipeline → thực thi chương trình → xác minh dựa trên tiêu chuẩn → hoạt động thực tế trên FPGA thành một quy trình thống nhất, giúp học viên hiểu một cách căn bản cấu trúc bên trong CPU và hình thành năng lực kỹ thuật để tự thiết kế, xác minh CPU.

Bắt đầu từ nguyên lý hoạt động của các lệnh RISC-V, đây là khóa học thực hành thiết kế CPU 32-bit với cấu trúc pipeline 5 tầng, hoàn thiện từ việc triển khai Verilog RTL, kiểm chứng bằng mô phỏng cho đến chạy thực tế trên FPGA. Trong số 40 lệnh của RV32I, khóa học lựa chọn 14 lệnh cần thiết để tìm hiểu cấu trúc cốt lõi của CPU và từng bước xây dựng TinyRV32I. Bạn sẽ trực tiếp thiết kế và kiểm chứng các cấu trúc cốt lõi tạo nên một CPU thực tế, bao gồm datapath, thanh ghi pipeline, ALU và mạch điều khiển, Branch, Hazard, Stall·Flush, Memory-Mapped I/O, v.v. Khóa học cung cấp Verilog RTL, Testbench, chương trình Assembly, Memory Image và tệp ràng buộc FPGA được sử dụng trong bài giảng. Cuối cùng, bạn sẽ chạy chương trình thực tế trên FPGA Arty S7-25 bằng chính CPU do mình thiết kế. Khóa học không kết thúc tại đây. Sau khi hoàn thiện cấu trúc cốt lõi của CPU thông qua TinyRV32I, bạn sẽ tiếp tục với lộ trình thiết kế CPU theo từng giai đoạn, mở rộng thành Full RV32I CPU hỗ trợ toàn bộ 40 lệnh RV32I trong các khóa học tiếp theo.

Bạn đã từng bỏ cuộc khi học Verilog và các công cụ EDA? Một giáo sư khoa bán dẫn, người trực tiếp thiết kế NPU, sẽ hướng dẫn bạn cách hiểu từ CPU đến NPU thông qua việc tính toán với 9 tệp Excel.

Khi quyết định tự xây dựng một CPU, phần lớn mọi người thường bắt đầu bằng việc tìm sơ đồ mạch. Nhưng ngay khi mở bản vẽ ra, những câu hỏi không thể trả lời xuất hiện. Tại sao khối này phải nằm ở đây? Tại sao cổng đọc thanh ghi lại có hai cái? Tất cả câu trả lời đều nằm trong tập lệnh. Khi biết tập lệnh yêu cầu điều gì, ta sẽ xác định được cần những mạch nào. Làm theo thứ tự ngược lại thì không được. Đã có khá nhiều khóa học về RISC-V. Nhưng phần lớn chỉ hiển thị một giá trị trên slide, nói “nó hoạt động như thế này” rồi chuyển sang phần tiếp theo. Người học không có cách nào kiểm chứng giá trị đó có đúng hay không. Khóa học này đi kèm một trình mô phỏng thực thi lệnh bằng Python. Khi nhập run ADD, mã máy sẽ được lắp ráp ngay tại chỗ, 32 bit sẽ được phân tách theo từng trường, và sự thay đổi của các thanh ghi sẽ hiển thị trên màn hình. Mọi con số trong giáo trình đều là kết quả chạy từ công cụ này và sẽ được tái hiện y hệt trên màn hình của bạn. Trình gỡ lỗi thương mại cần giấy phép, còn trình mô phỏng thì vướng ở khâu cài đặt. Công cụ này chỉ cần có Python là đủ. Không cần bo mạch, giấy phép hay cài đặt. Đây là quá trình trực tiếp thực thi toàn bộ 40 lệnh RV32I, không bỏ sót một lệnh nào, để tự mình khám phá xem mạch cần phải làm gì.

Khi học máy học, bạn học cách nâng cao độ chính xác. Nhưng ngay khoảnh khắc muốn đưa mô hình đó lên một con chip thực tế, vẫn còn những câu hỏi mà không ai nói cho bạn biết. Mô hình này thực hiện bao nhiêu phép nhân? Nó cần ghi nhớ bao nhiêu và những gì? Thông số của con chip đang nhắm tới có đáp ứng được các yêu cầu đó không? Giáo trình máy học nói về độ chính xác, còn giáo trình bán dẫn nói về mạch điện, nhưng tài liệu kết nối hai lĩnh vực này lại rất hiếm. Khi triển khai CPU RISC-V và NPU trên FPGA, tôi đã nhiều lần đối mặt với khoảng cách đó. Đó là tình huống mô hình có độ chính xác cao nhất lại không thể chạy trên bo mạch. Trong khóa học này, bạn sẽ trực tiếp xây dựng sáu thuật toán bằng Python, đồng thời đo số phép nhân, phép so sánh, bộ nhớ và độ chính xác ở mỗi bước. Sau đó, các giá trị này được quy đổi thành tài nguyên trên một bo mạch FPGA thực tế. Chỉ nói “bao nhiêu phép nhân” thì không đủ để hình dung quy mô, nhưng nếu nói “chiếm bao nhiêu phần trăm tài nguyên của bo mạch” thì bạn có thể đưa ra quyết định. Sau khi hoàn thành chín Lab và đưa sáu mô hình vào cùng một bảng, bạn sẽ thấy một bức tranh khác với dự đoán. Chúng ta đã dành chín bài để đếm số phép nhân, nhưng thứ thực sự trở thành nút thắt lại không phải là phép nhân. Sau đó, chúng ta sẽ hạ độ chính xác xuống dạng số nguyên, quản lý số chữ số và xây dựng cả tiêu chí để đánh giá mạch. Bạn không cần có bo mạch FPGA. Khóa học được thực hiện hoàn toàn bằng Python, còn bo mạch chỉ được sử dụng làm 기준 để quy đổi các giá trị đo được.

Đưa mạng thần kinh lên FPGA — cụm từ này nghe có vẻ quen thuộc, nhưng số người thực sự làm được điều đó lại rất hiếm. Nếu bạn muốn đi trước một bước trong các đồ án tốt nghiệp (Capstone), các cuộc thi hay tác phẩm tốt nghiệp, bạn cần phải vượt xa việc chỉ huấn luyện mô hình; bạn phải có khả năng tự mình tạo ra và chứng minh cách các phép toán đó vận hành bên trong một con chip thực thụ. Khóa học này sẽ giúp bạn lấp đầy khoảng cách đó — khoảng cách giữa lý thuyết và phần cứng thực tế. Bạn sẽ tự tay hoàn thiện từ đầu đến cuối một bộ tăng tốc mạng thần kinh (NPU) nhận dạng chữ số MNIST, từ việc đọc thông số kỹ thuật đến xây dựng mô hình Golden Model bằng Python, thiết kế Verilog RTL và kiểm chứng trên FPGA. Từ lớp Conv được tạo bởi Line Buffer và MAC song song, qua ReLU, MaxPool, Flatten cho đến lớp Fully Connected và Argmax — bạn sẽ tích hợp chín khối chức năng vào một con chip duy nhất và tự mình chứng minh rằng "kết quả từ Python và đầu ra phần cứng không khác nhau dù chỉ một bit (Bit-True)". Khóa học cũng bao gồm cách vượt qua những khoảnh khắc gây ức chế khi mô phỏng chạy bình thường nhưng kết quả lại khác biệt một cách tinh vi. Tôi sẽ chỉ ra từng bí quyết thực tế mà các giáo trình học sâu thông thường không đề cập đến, chẳng hạn như lượng tử hóa số nguyên, chuyển đổi thứ tự trục mảng, hay ngăn chặn tràn bộ tích lũy. Tôi đã đúc kết những kinh nghiệm xương máu từ quá trình thiết kế CPU RISC-V và kiểm chứng Bit-True trên FPGA trong thời gian dài vào khóa học này, để các bạn không phải lặp lại những sai lầm đó. Sau khi kết thúc khóa học, bạn sẽ nắm trong tay một dự án phần cứng hoàn chỉnh mà bạn có thể tự tin nói rằng mình đã "tự tay thiết kế và chứng minh".

Nếu muốn tự mình thiết kế các chất bán dẫn AI như NPU, bộ tăng tốc Transformer hay mini LLM, bạn cần nắm được bằng lý thuyết tại sao các phép tính bên trong chúng lại diễn ra. Khóa học này cô đọng trong ba phần những tinh túy lý thuyết thiết yếu cho thiết kế phần cứng, từ một nơ-ron đơn lẻ đến CNN, Transformer và LLM. Không phải là học thuộc công thức, mà là dùng trực giác để hiểu “tại sao lại như vậy”; một giáo sư đương nhiệm với 30 năm kinh nghiệm trong ngành bán dẫn sẽ kết nối lý thuyết phần mềm với việc triển khai phần cứng thành một thể thống nhất.

Đây là khóa học dành cho những ai đã học cú pháp Verilog nhưng vẫn còn lúng túng với câu hỏi "Vậy thì nên tạo ra cái gì?". Chỉ với một bo mạch FPGA, bạn sẽ trực tiếp thiết kế bốn loại phần cứng: đồng hồ kỹ thuật số, cảm biến khoảng cách siêu âm, màn hình OLED và cả hình ảnh camera thời gian thực. Độ khó sẽ tăng dần từ đầu ra đến đầu vào·điều khiển, hiển thị và hình ảnh, giúp bạn nắm vững thiết kế kỹ thuật số thông qua việc tạo ra các sản phẩm thực tế có thể nhìn thấy được. Một giáo sư đương nhiệm với 30 năm kinh nghiệm trong ngành bán dẫn sẽ trực tiếp giảng dạy những nội dung đã được kiểm chứng trên FPGA thực tế.

Nhiều người đã học về FPGA và Verilog nhưng lại gặp khó khăn ở câu hỏi "Vậy làm thế nào để trực tiếp tạo ra một bộ tăng tốc AI?". Khóa học này sẽ giải đáp thắc mắc đó. Chỉ với một tấm FPGA phổ thông và các công cụ miễn phí, bạn sẽ bắt đầu từ việc tự tay thiết kế kernel 3×3, trực tiếp huấn luyện CNN, lượng tử hóa các trọng số đã học sang INT8 để đưa vào phần cứng, và cuối cùng là kiểm chứng xem nó có khớp hoàn toàn (Bit-True) với mô hình Python đến từng bit hay không. Với 30 năm kinh nghiệm trong ngành bán dẫn và tư cách là giáo sư đương nhiệm, tôi chỉ dạy những nội dung đã được kiểm chứng trên FPGA thực tế dưới dạng các 'mạch điện hoạt động được'. Thay vì lý thuyết suông, bạn sẽ có được trải nghiệm tự tay thiết kế và chứng minh, từ đó trang bị năng lực thực chiến đáp ứng yêu cầu trong lĩnh vực thiết kế Fabless và chip bán dẫn AI.