Giải thích code <Xây dựng và học LLM từ cơ bản>

Khóa học này giải thích mã ví dụ được cung cấp cùng với . Kho lưu trữ GitHub (https://github.com/rickiepark/llm-from-scratch/) không chỉ chứa mã ví dụ trong sách mà còn bao gồm nhiều tài liệu bổ sung khác. Giải thích về những nội dung bổ sung này cũng được cung cấp.

Khóa học này có thể được nghe bởi bất kỳ ai mà không cần mua sách. Tuy nhiên, sẽ hiệu quả nhất khi nghe cùng với sách. Một số giải thích về code có thể khó hiểu nếu không xem cùng với sách. Kiến thức tiên quyết cần thiết là lập trình Python. Sẽ có ích nếu bạn đã từng sử dụng deep learning và PyTorch. Nếu bạn mới tiếp xúc với hai khái niệm này lần đầu, hãy đọc Phụ lục A trước.

<Xây dựng và học LLM từ đầu>의 nội dung được đề cập trong bài gi강의 có thể xem miễn phí trên YouTube. Vui lòng tham khảo blog của người dịch để biết thông tin về lỗi.

Giới thiệu sách

Theo từng dòng code một, bạn sẽ hoàn thành GPT của riêng mình!
Hướng dẫn thực hành triển khai GPT từ đầu và nắm vững nguyên lý LLM qua đầu ngón tay

Các khái niệm khó được giải thích bằng hình ảnh, và LLM được học thông qua việc tự tay xây dựng. Cuốn sách này là một hướng dẫn thực hành về LLM giúp bạn học hỏi bằng cách trực tiếp triển khai cấu trúc và nguyên lý hoạt động của các mô hình ngôn ngữ lớn từ đầu đến cuối. Không chỉ dừng lại ở việc giải thích các khái niệm, cuốn sách lấy tiền xử lý văn bản và tokenization, quá trình embedding làm điểm khởi đầu, sau đó từng bước xây dựng self-attention và multi-head attention, các transformer block. Tiếp theo, tích hợp những thành phần này để hoàn thiện mô hình GPT thực tế, và trực tiếp làm việc với các yếu tố cốt lõi của thiết kế kiến trúc hiện đại như số lượng tham số của mô hình, kỹ thuật ổn định hóa huấn luyện, hàm kích hoạt và phương pháp chuẩn hóa. Ngoài ra, cuốn sách còn hướng dẫn sâu sắc về quá trình pre-training và fine-tuning. Bạn có thể tiến hành pre-training từ dữ liệu không có nhãn, tuning mô hình cho các tác vụ downstream như phân loại văn bản, và thực hành cả kỹ thuật học dựa trên chỉ dẫn đang được chú ý gần đây. Cuốn sách cũng bao gồm nội dung mới nhất như Parameter Efficient Fine-Tuning (PEFT) dựa trên LoRA, đưa ra nhiều phương pháp để kết nối LLM với dịch vụ thực tế và nghiên cứu. Tất cả các khái niệm đều được triển khai bằng mã PyTorch và được tối ưu hóa để có thể thực hành ngay cả trong môi trường laptop thông thường. Theo dõi quá trình triển khai trong cuốn sách này, bạn sẽ tự nhiên hiểu được những gì diễn ra bên trong LLM và nắm bắt được cách thức hoạt động của cơ chế mô hình ngôn ngữ lớn thông qua trải nghiệm thực tế.