Đánh giá chân thực của mdrifatnahid, khóa học Lý thuyết thiết yếu cho thiết kế chất bán dẫn AI — từ nơ-ron đến LLM
1 đánh giá
Điểm trung bình 4
Vì có tiêu đề là “Chất bán dẫn” nhưng hầu như không có nội dung gì về chủ đề này. Tuy nhiên, khóa học phù hợp để bắt đầu học những kiến thức nền tảng rất cơ bản về AI.
1
Cảm ơn bạn đã dành thời gian viết thư, cũng như dành những lời tốt đẹp cho phần kiến thức nền tảng — tôi rất vui vì phần đó hữu ích với bạn. Về tiêu đề, tôi xin chia sẻ mục tiêu của khóa học, hy vọng điều này sẽ giúp giải thích rõ hơn. Đây là tập lý thuyết trong một chuỗi khóa học về phần cứng. Các khóa học tiếp theo sẽ xây dựng một CPU RISC-V, một bộ tăng tốc CNN, một NPU và cuối cùng là một SoC LLM mini trên bo mạch FPGA thực tế — trong chuỗi này, một engine Transformer đã được triển khai và kiểm chứng trên FPGA. Tập này tồn tại vì những mạch đó rất khó thiết kế chỉ dựa trên sơ đồ. Bạn cần biết bên trong chúng đang thực hiện phép toán gì, và tại sao chúng lại tiêu tốn từng ấy tài nguyên. Vì vậy, phần lý thuyết AI ở đây được lựa chọn và trình bày nhằm phục vụ mục đích đó. Ví dụ: Phép nhân-tích lũy như một bài toán về công suất. Phần 1 khép lại bằng nhận định rằng mạng nơ-ron về bản chất là sự lặp lại khổng lồ của các phép nhân và phép cộng, và mỗi phép toán như vậy đều tiêu thụ công suất trên một chip thực tế. Chính nhận định đơn giản đó là nền tảng cho toàn bộ phần thảo luận về thiết kế tiết kiệm năng lượng ở các phần sau. Tích chập như một mẫu hình phần cứng. Bài giảng về phép tích chập mô tả một bộ lọc nhỏ trượt qua ảnh, thực hiện phép nhân và cộng trên các vùng chồng lấn. Cấu trúc cửa sổ trượt đó — trong đó cùng một bộ trọng số được tái sử dụng ở nhiều vị trí — chính là kiểu truy cập mà một bộ tăng tốc được xây dựng để khai thác. Tại sao Transformer cần một bộ tăng tốc chuyên dụng. Phần 2 giải thích rằng việc loại bỏ tính đệ quy giúp mọi từ có thể được tính toán song song, và bản chất của sự song song đó là các phép nhân ma trận quy mô lớn. Sau đó, phần này chỉ ra phép nhân ma trận sẽ trở thành gì trong silicon: sắp xếp các phép nhân-cộng đó thành một lưới và cho chúng chạy đồng thời chính là mảng tâm thu, cấu trúc cốt lõi của một NPU. Tại sao việc di chuyển dữ liệu chiếm phần lớn ngân sách năng lượng. Phần 3 chỉ ra rằng một phần lớn năng lượng của AI không được tiêu thụ cho bản thân các phép tính số học, mà cho việc di chuyển dữ liệu. Đây là ràng buộc mà mọi chip AI tiết kiệm năng lượng đều phải xoay quanh, và đó là lý do chuỗi khóa học kết thúc bằng hai hướng cần được thúc đẩy song song: giảm thiểu việc di chuyển dữ liệu và làm nhẹ mô hình. Mỗi phần trong số này đều kết thúc bằng cùng một câu trong bài giảng: đây là cầu nối đến phần cứng. Slide định hướng ở phần đầu đã nêu trực tiếp điều đó — mọi khái niệm trừu tượng trong khóa học này sau đó sẽ trở thành một phép toán thực tế trên silicon trong các phần tiếp theo của chuỗi, đó là lý do phần lý thuyết được xây dựng theo hướng có thể triển khai, thay vì thuần túy mang tính toán học. Bình luận của bạn cũng giúp tôi nhìn phần mô tả từ góc độ của người đọc. Hiện tại, ghi chú về vị trí của tập này trong toàn bộ chuỗi đang được đặt ở cuối trang — tôi sẽ đưa nội dung đó lên đầu để mọi người có thể hiểu rõ trước khi đăng ký. Xin chân thành cảm ơn bạn. EdgeChipLab
0