Lịch sử và sự phát triển của LLM: Từ nguồn gốc của mô hình ngôn ngữ đến những công nghệ mới nhất

🔍Tổng quan khóa học

Khóa học này là quá trình học tập toàn diện về dòng chảy phát triển của các mô hình ngôn ngữ, từ những nghiên cứu sơ khai về xử lý ngôn ngữ tự nhiên cho đến các mô hình ngôn ngữ lớn (LLM) mới nhất hiện nay. Người học sẽ hiểu một cách hệ thống những thay đổi về mặt kỹ thuật, bắt đầu từ thời đại dựa trên quy tắc, trải qua các mô hình ngôn ngữ thống kê, mô hình dựa trên mạng thần kinh, cuộc cách mạng Transformer, cho đến các LLM tập trung vào đa phương thức (multimodal), tối ưu hóa hiệu suất và ứng dụng như ngày nay.

🔍 Mục tiêu học tập

• Hiểu toàn bộ dòng chảy phát triển của các mô hình ngôn ngữ.

• Nắm vững đặc điểm của các mô hình cốt lõi theo từng thời kỳ (RNN, LSTM, Transformer, BERT, GPT, v.v.).

• Hệ thống hóa các công nghệ LLM mới nhất và xu hướng nghiên cứu một cách cấu trúc.

• Hiểu về các kỹ thuật tối ưu hóa LLM và phương thức ứng dụng thực tế.

• Nhìn nhận một cách phê phán về định hướng nghiên cứu và những hạn chế của LLM trong tương lai.

🔍 Cấu trúc học tập

Bài giảng bao gồm tổng cộng 6 phần, mỗi phần được cấu trúc xoay quanh dòng chảy thời gian và các trục nghiên cứu chính.

• Phần 1: Nguồn gốc và sự phát triển ban đầu của NLP

• Phần 2: Nghiên cứu mô hình ngôn ngữ trước thời kỳ Transformer

• Phần 3: Cuộc cách mạng Transformer và Mô hình ngôn ngữ lớn

• Phần 4: Các công nghệ LLM mới nhất và xu hướng nghiên cứu

• Phần 5: Công nghệ hiệu quả hóa LLM và tối ưu hóa mô hình

• Phần 6: Ứng dụng LLM · Tích hợp hệ thống · Triển vọng tương lai

📘Phần 1. Nguồn gốc và sự phát triển ban đầu của mô hình ngôn ngữ

Trong phần này, chúng ta sẽ tìm hiểu về điểm khởi đầu của NLP cho đến nền tảng của các mô hình ngôn ngữ sơ khai.

Nội dung học tập chính

• NLP đã bắt đầu như thế nào và giải quyết những vấn đề gì

• Hệ thống dựa trên quy tắc đã được cấu tạo như thế nào và tại sao lại gặp phải những hạn chế

• Mô hình ngôn ngữ thống kê (n-gram LM) đã xuất hiện như thế nào

• Sự xuất hiện và ý nghĩa của các kho ngữ liệu lớn thời kỳ đầu như Brown Corpus, Penn Treebank, v.v., such as the Brown Corpus and Penn Treebank

• Khái niệm Giả thuyết phân bố (Distributional Hypothesis) và cách áp dụng trong NLP

• Sự ra đời và đóng góp của các kỹ thuật nhúng từ (word embedding) sơ khai như Word2Vec, GloVe, v.v.

📘Phần 2. Sự phát triển của mô hình ngôn ngữ trước Transformer

Trong phần này, chúng ta sẽ tìm hiểu về việc các mô hình dòng RNN đã thay đổi NLP như thế nào, cũng như những hạn chế kỹ thuật trước thời kỳ Transformer.

Nội dung học tập chính

• Bối cảnh ra đời và nguyên lý cấu tạo của RNN, LSTM, GRU

• Bản chất của vấn đề phụ thuộc đường dài (Long-term dependency)

• Cấu trúc Seq2Seq đã dẫn dắt sự đổi mới trong dịch máy như thế nào

• Lý do xuất hiện và hiệu quả của cơ chế Attention

• Mô hình ngôn ngữ dựa trên CNN có phân loại nghiên cứu khác nhau nên không chắc chắn, nhưng hãy học các ý tưởng chính

• Tổng hợp tình hình nghiên cứu ngay trước thời điểm Transformer ra đời và hiểu rõ nhu cầu cần thiết của các mô hình thế hệ tiếp theo.

📘Phần 3. Cuộc cách mạng Transformer và kỷ nguyên của các mô hình ngôn ngữ lớn

Trong phần này, bạn sẽ tìm hiểu về việc thời đại LLM hiện đại tập trung vào Transformer đã được mở ra như thế nào.

Nội dung học tập chính

• Cấu trúc và đặc điểm của Transformer, tiêu biểu là qua bài báo “Attention Is All You Need”

• Bối cảnh ra đời của Tiền huấn luyện (Pretraining) và Mô hình hiểu ngôn ngữ

• Khái niệm tính hai chiều của mô hình BERT, kỹ thuật MLM (Masked LM)

• Dòng phát triển chính của dòng GPT (GPT–GPT-4)

• Thiết lập mô hình học tập tiêu chuẩn theo quy trình “Tiền huấn luyện (Pre-training) → Tinh chỉnh (Fine-tuning)”

• Ý nghĩa của Quy luật tỷ lệ (Scaling Laws) và sự thay đổi trong chiến lược huấn luyện LLM

📘Phần 4. Các mô hình LLM mới nhất và sự phát triển công nghệ

Phần này không chỉ đề cập đến cấu trúc, đặc điểm và phương pháp học tập của LLM mới nhất mà còn bao gồm cả mô hình dựa trên phản hồi của con người.

Nội dung học tập chính

• Đặc điểm chung của các LLM mới nhất như GPT-4, Llama, Claude, v.v.

• Bối cảnh ra đời của các LLM mã nguồn mở (ví dụ: Llama·Mistral)

• Các kỹ thuật học tập tùy chỉnh theo người dùng như RLHF, DPO và Instruction Tuning

• Cấu trúc và ví dụ ứng dụng của mô hình đa phương thức (Multimodal)

• Các nghiên cứu về định kiến, ảo giác, tính an toàn và các yếu tố cân nhắc về đạo đức

📘Phần 5. Công nghệ hiệu quả hóa LLM và tối ưu hóa mô hình

Phần này tập trung vào các kỹ thuật giúp mô hình quy mô lớn trở nên nhẹ hơn và nhanh hơn.

Nội dung học tập chính

• Lượng tử hóa (Quantization), Cắt tỉa (Pruning), Chưng cất tri thức (Knowledge Distillation)

• PEFT (Parameter-Efficient Fine-Tuning) như LoRA·Prefix Tuning

• Các thuật toán Attention tốc độ cao như FlashAttention

• Kỹ thuật giảm chi phí suy luận

• Khái niệm và thách thức kỹ thuật của LLM trên thiết bị (on-device)

• Các ví dụ về tối ưu hóa hiệu quả trong ứng dụng dịch vụ thực tế

📘Phần 6. Ứng dụng LLM · Tích hợp hệ thống · Triển vọng tương lai

Phần này giúp bạn tìm hiểu về cách LLM được ứng dụng trong các hệ thống và dịch vụ thực tế,
đồng thời tổng kết các hướng đi trong tương lai trong khi thừa nhận một số điểm còn chưa chắc chắn.

Nội dung học tập chính

• Cấu trúc và ưu điểm của Retrieval-Augmented Generation (RAG)

• Nguyên lý của LLM dựa trên việc sử dụng công cụ như Toolformer và ReAct

• LLM đặc thù cho từng lĩnh vực như y tế, pháp luật, lập trình

• Mở rộng các mô hình đa phương thức như GPT-4V

• Nghiên cứu hệ thống tự trị dựa trên LLM (một số phần “không chắc chắn”)

• Triển vọng tương lai và các điểm tranh luận của LLM (ví dụ: khả năng đạt được AGI → “không chắc chắn”)

🔍Màn hình ví dụ

Giống như màn hình ví dụ dưới đây, các khái niệm liên quan đến LLM sẽ được giải thích chi tiết bằng cách sử dụng nhiều sơ đồ khác nhau trong bài giảng. Đặc biệt, các sơ đồ liên quan đến NLP, RNN, self-attention, transformer và LLM sẽ được sử dụng để giải thích một cách tập trung.

Tiêu đề bài giảng

Lịch sử và sự phát triển của LLM: Từ nguồn gốc của mô hình ngôn ngữ đến những công nghệ mới nhất