inflearn logo

Lý thuyết thiết yếu cho thiết kế chất bán dẫn AI — từ nơ-ron đến LLM

Nếu muốn tự mình thiết kế các chất bán dẫn AI như NPU, bộ tăng tốc Transformer hay mini LLM, bạn cần nắm được bằng lý thuyết tại sao các phép tính bên trong chúng lại diễn ra. Khóa học này cô đọng trong ba phần những tinh túy lý thuyết thiết yếu cho thiết kế phần cứng, từ một nơ-ron đơn lẻ đến CNN, Transformer và LLM. Không phải là học thuộc công thức, mà là dùng trực giác để hiểu “tại sao lại như vậy”; một giáo sư đương nhiệm với 30 năm kinh nghiệm trong ngành bán dẫn sẽ kết nối lý thuyết phần mềm với việc triển khai phần cứng thành một thể thống nhất.

26 học viên đang tham gia khóa học này

Độ khó Nhập môn

Thời gian Không giới hạn

Deep Learning(DL)
Deep Learning(DL)
Machine Learning(ML)
Machine Learning(ML)
CNN
CNN
transformer
transformer
LLM
LLM
Deep Learning(DL)
Deep Learning(DL)
Machine Learning(ML)
Machine Learning(ML)
CNN
CNN
transformer
transformer
LLM
LLM

Bạn sẽ nhận được điều này sau khi học.

  • Khả năng hiểu trực quan nguyên lý hoạt động của nơ-ron, mạng nơ-ron, CNN, Transformer và LLM

  • Nền tảng lý thuyết cốt lõi cần thiết cho thiết kế phần cứng AI, bao gồm học máy, phương pháp hạ dốc và lượng tử hóa.

  • Hiểu ở cấp độ nguyên lý về cách ChatGPT, GPT và BERT được tạo ra

  • Bức tranh toàn cảnh về cách lý thuyết AI được hiện thực hóa thành các mạch bán dẫn thực tế (NPU·bộ tăng tốc)

  • Nền tảng lý thuyết để có thể hiểu và theo kịp các bài thực hành thiết kế bộ tăng tốc AI và NPU sau này.

■ Vì sao cần khóa học này?

NPU, bộ tăng tốc Transformer, mini LLM — để trực tiếp thiết kế những chất bán dẫn AI như thế này, bạn cần biết bên trong chúng diễn ra những phép toán gì, tại sao chúng diễn ra, và những phép toán đó phải đánh đổi điều gì trên chip. Chỉ vẽ theo mạch điện thôi thì sẽ chạm đến giới hạn.

Khóa học này cô đọng nền tảng lý thuyết đó thành ba phần, chỉ chắt lọc những tinh túy thực sự cần thiết. Bắt đầu từ phép nhân của một nơ-ron cho đến CNN, attention, Transformer và LLM — giữa kho tàng lý thuyết AI rộng lớn, chúng tôi chỉ chọn lọc và đưa vào 'những gì thực sự cần thiết cho thiết kế phần cứng'.

Vì vậy, mỗi phần sẽ giải thích mối liên hệ với thiết kế bán dẫn.

Phần 1 đề cập đến thực tế rằng phép nhân và phép cộng của mạng nơ-ron trên chip chính là điện năng,

Phần 2 nói về việc các phép toán ma trận của attention đòi hỏi một bộ tăng tốc chuyên dụng gọi là systolic array,

Phần 3 khép lại với thực tế rằng một phần đáng kể năng lượng được tiêu thụ không phải cho tính toán mà cho việc di chuyển dữ liệu.

Đây không phải là lý thuyết nhằm đạt chiều sâu học thuật, mà là lý thuyết để trực tiếp tạo ra chất bán dẫn AI.


■ Lý do khóa học này khác biệt

Các khóa học lý thuyết AI trên thị trường thường chỉ dừng lại ở góc nhìn phần mềm và toán học. Khóa học này ngay từ đầu đã hướng đến 'lý thuyết để hiện thực hóa bằng phần cứng'. Phép nhân·phép cộng của nơ-ron được chuyển hóa thành mức tiêu thụ điện năng trên chip như thế nào, tại sao các phép toán ma trận của Transformer lại đòi hỏi bộ tăng tốc chuyên dụng (NPU), tại sao chất bán dẫn AI công suất thấp là tương lai — tất cả lý thuyết AI đều được giải thích dưới góc nhìn của một nhà thiết kế chất bán dẫn. Một giáo sư đang làm việc với 30 năm kinh nghiệm trong ngành công nghiệp bán dẫn kết nối lý thuyết phần mềm và hiện thực hóa phần cứng thành một thể thống nhất.


■ Bài giảng này là điểm khởi đầu

Khóa học này là điểm khởi đầu về mặt lý thuyết cho các khóa học thiết kế phần cứng tiếp theo.

· Bài giảng này (lý thuyết) → Thiết kế NPU → Bộ tăng tốc Transformer → mini LLM SoC

Chỉ khi có nền tảng lý thuyết được củng cố ở đây, bạn mới có thể hiểu và theo kịp các bài giảng sau, biết 'vì sao mạch này lại được thiết kế như vậy'. Ngược lại, nếu chỉ nhìn vào mạch mà không có lý thuyết, bạn sẽ chỉ học thuộc lòng và không thể vận dụng.


■ Cấu trúc gồm 3 phần

· Phần 1: Từ nơ-ron đến CNN — nguyên lý học (phương pháp hạ gradient), perceptron và bức tường XOR, mạng nơ-ron sâu (DNN), mạng nơ-ron tích chập (CNN)

· Phần 2 Từ RNN đến Transformer — dữ liệu tuần tự và RNN, word embedding, cơ chế attention, Transformer

· Phần 3: Từ Transformer đến LLM — tiền huấn luyện · học chuyển giao, BERT và GPT, ChatGPT và RLHF, cùng chất bán dẫn công suất thấp

Ba phần này là một câu chuyện liền mạch. Nếu học theo đúng thứ tự, bạn sẽ hoàn thiện bức tranh tổng thể từ nơ-ron đến LLM.


■ Khuyến nghị dành cho những người sau đây

· Dành cho những ai muốn trực tiếp thiết kế NPU, bộ tăng tốc AI và AI SoC trong tương lai (dựa trên nền tảng lý thuyết đó)

· Những người muốn củng cố tinh gọn lý thuyết nền tảng trước khi tham gia khóa học thiết kế phần cứng AI

· Dành cho những người muốn hiểu AI từ nguyên lý nhưng quan tâm đến “những điều cốt lõi để tạo ra” hơn là chiều sâu học thuật

· Dành cho những người đã từng nghe các thuật ngữ (CNN, Attention, Transformer, LLM) nhưng chưa nắm được nguyên lý hoạt động của chúng


■ Đây là một khóa học như thế nào?

· Chắt lọc những lý thuyết cần thiết cho thiết kế phần cứng — tinh hoa của kho tàng lý thuyết AI

· Tập trung vào trực giác thay vì học thuộc công thức — giải thích “tại sao lại như vậy” bằng hình ảnh và phép ví von

· Một câu chuyện liền mạch từ một nơ-ron đơn lẻ đến LLM

· Góc nhìn hiếm có kết nối lý thuyết AI với phần cứng bán dẫn

· Có thể hoàn thành toàn bộ chỉ bằng video, không cần thực hành, bo mạch hay cài đặt riêng biệt


■ Tham khảo

· Khóa học này là phần lý thuyết. Việc thực hành tự xây dựng bộ tăng tốc AI bằng FPGA sẽ được trình bày trong các khóa học riêng. Lý thuyết trong khóa học này là nền tảng cho những khóa học thực hành đó.

· Toàn bộ nội dung của khóa học này do giảng viên biên soạn, còn phần thuyết minh (giọng nói) được tạo bằng TTS.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Những người muốn trực tiếp thiết kế NPU, bộ tăng tốc AI và SoC AI trong tương lai nhưng chưa có nền tảng lý thuyết.

  • Trước khi học khóa học về thiết kế phần cứng AI, tôi muốn củng cố kiến thức lý thuyết nền tảng một cách cô đọng.

  • Dành cho những người biết các thuật ngữ CNN, Attention, Transformer, LLM nhưng chưa nắm được nguyên lý hoạt động.

  • Dành cho những ai muốn hiểu AI từ nguyên lý, nhưng quan tâm đến 'cốt lõi để xây dựng' hơn là chiều sâu học thuật

Cần biết trước khi bắt đầu?

  • Giải thích dựa trên trực giác để có thể hiểu ngay cả khi không có kiến thức đặc biệt về cầu thủ.

  • Nếu biết toán học ở trình độ trung học phổ thông (hàm số, đồ thị) thì sẽ dễ dàng hơn.

  • Không cần lập trình hay thực hành (phần lý thuyết)

Xin chào
Đây là EdgeChipLab

Xác minh sự nghiệp

Tự mình thiết kế và triển khai chất bán dẫn AI bằng FPGA

Với tư cách là giáo sư đại học đang đương nhiệm, tôi đã đưa vào đây 30 năm kinh nghiệm trong ngành công nghiệp bán dẫn hệ thống cùng bí quyết nghiên cứu và giảng dạy về bán dẫn AI.

Bắt đầu từ vị trí nghiên cứu viên bán dẫn hệ thống tại Bộ phận DS của Samsung Electronics, trải qua các vị trí Director tại chi nhánh Anh và Đức, cũng như Trưởng nhóm Marketing·Kinh doanh System LSI, hiện là giáo sư giảng dạy kỹ thuật bán dẫn, trực tiếp thiết kế và kiểm chứng trên FPGA để xây dựng chương trình đào tạo mang tính thực tiễn.

Đây không phải là khóa học chỉ đơn thuần dạy cách sử dụng FPGA.
Bạn sẽ hiểu các thuật toán AI → trực tiếp thiết kế NPU và CPU bằng RTL → triển khai trên FPGA → kiểm chứng trên phần cứng thực tế → và cuối cùng mở rộng đến AI SoC.

Thuật toán AI → Thiết kế RTL → Triển khai FPGA → Xác minh Bit-True → AI SoC

 

Vượt qua lý thuyết để hiện thực hóa phần cứng AI thực tế

Chỉ với những kiến thức rời rạc và phiến diện thì khó có thể đạt được năng lực thiết kế chất bán dẫn AI ở cấp độ hệ thống.

Học viên không chỉ dừng lại ở việc sử dụng các IP dạng hộp đen hoàn chỉnh. Mục tiêu là từng bước trang bị năng lực thiết kế hệ thống, có thể tự thiết kế AI NPU và CPU RISC-V, tích hợp bộ nhớ cùng các thiết bị ngoại vi, và cuối cùng xây dựng AI SoC của riêng mình.

Bắt đầu từ những kiến thức cơ bản về transistor và mạch số, bạn sẽ tìm hiểu xuyên suốt từ FPGA, CPU, NPU đến phần cứng tăng tốc Transformer và LLM.

 

Xác minh kết quả nghiên cứu trên phần cứng FPGA thực tế.

Đây không phải là khóa học chỉ xem bằng mắt. Không dừng lại ở lý thuyết hay mô phỏng đơn thuần, bạn sẽ cho mạch bán dẫn AI do chính mình thiết kế hoạt động trên FPGA thực tế và thực hiện kiểm chứng Bit-True, trong đó kết quả RTL khớp với mô hình Python đến từng bit.

Chúng tôi cũng kết nối các kết quả nghiên cứu, bao gồm 4 bài báo được đăng trên KCI của giảng viên về AI bán dẫn, FPGA và RISC-V với nội dung đào tạo, từ đó đưa các công nghệ đã được kiểm chứng trong nghiên cứu vào thiết kế thực tế và triển khai trên FPGA.

Công khai mã nguồn cần thiết cho thực hành, bao gồm CPU RISC-V do chúng tôi tự phát triển, mã Python dùng để huấn luyện hình ảnh và Verilog RTL.

Được xây dựng xoay quanh bo mạch FPGA Arty S7-25 phổ thông và công cụ thiết kế Vivado miễn phí, khóa học giúp người học có thể tự mình tái hiện toàn bộ quy trình từ thiết kế, triển khai đến kiểm chứng.

Ngoài ra, cũng có thể sử dụng với các bo mạch FPGA của Digilent, bao gồm Zybo Z7. Bạn chỉ cần điều chỉnh ánh xạ chân XDC (bo mạch) và tham số chia tần số xung nhịp (RTL) cho phù hợp với bo mạch.

'NPU MNIST được xây dựng bằng FPGA' chỉ cần chỉnh sửa ánh xạ chân XDC, còn các bài giảng sử dụng OLED và Camera thì cần chỉnh sửa tham số chia tần số xung nhịp (RTL).

→Phần thực hành của khóa học được thiết lập các tham số chia tần dựa trên xung nhịp đầu vào 100 MHz của Arty S7. Vì các bo mạch khác có xung nhịp đầu vào khác nhau (ví dụ: Zybo Z7 là 125 MHz), bạn cần tính toán lại giá trị chia tần để đạt được cùng tần số mục tiêu. Nếu bỏ qua phần này, màn hình hoặc video sẽ không hiển thị bình thường, và rất dễ hiểu lầm là lỗi mã, vì vậy hãy kiểm tra kỹ.

 

Lộ trình full-stack liền mạch: từ cơ bản đến bộ tăng tốc mini LLM

Tất cả các bài giảng không phải là những mảnh ghép rời rạc, mà là hành trình hoàn thiện một hệ thống khổng lồ duy nhất.

  • Bước 1: Cơ sở lý thuyết AI và xử lý hình ảnh (bao gồm Machine Learning)

  • Step 2: Thiết kế và kiểm chứng bộ gia tốc AI (NPU) (bao gồm Machine Learning)

  • Bước 3: Thiết kế CPU RISC-V và tích hợp hệ thống

  • Bước 4: Triển khai SoC AI nâng cao và mở rộng thành nền tảng tăng tốc mini LLM (liên tục cập nhật nội dung)

     

 

Các chỉ số kiểm chứng khách quan

Tất cả các sản phẩm thiết kế của khóa học này đều đã trải qua quá trình kiểm chứng nghiêm ngặt theo các tiêu chuẩn toàn cầu và giới học thuật.

  • Xác minh kiến trúc RISC-V: CPU RISC-V do chúng tôi tự phát triển đã vượt qua bài kiểm tra tuân thủ chính thức (ACT) của tổ chức quốc tế và công khai mã nguồn (GitHub)

  • Uy tín học thuật: 4 bài báo học thuật với tư cách tác giả duy nhất (đăng trên tạp chí danh tiếng IJIBC thuộc danh mục học thuật KCI hạng A)

  • Được công nhận toàn cầu: Đã xuất bản 2 cuốn sách công nghệ trên Amazon toàn cầu (đạt hạng 3 trong danh sách bán chạy nhất)

  • Đã hoàn tất xác minh hoạt động thực tế: Các IP cốt lõi như CPU RV32I, NPU, hệ thống thị giác, GPS, Transformer, SoC AURA-Edge đều hoạt động hoàn hảo trong môi trường Arty S7

Hãy thử thách bản thân. Khi quá trình tự mình đưa mã lên bo mạch và kiểm tra kết quả này kết thúc, bạn sẽ nâng tầm trở thành một kỹ sư phần cứng với tầm nhìn hoàn toàn khác so với trước đây.

Thêm

Chương trình giảng dạy

Tất cả

3 bài giảng ∙ (1giờ 40phút)

Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của EdgeChipLab

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Giảm 25% cho thành viên mới

155.160 ₫

25%

206.880 ₫