inflearn logo

Lịch sử và sự phát triển của LLM

Giải thích chi tiết về các mô hình ngôn ngữ khác nhau được phát triển trong quá trình từ khi bắt đầu công nghệ xử lý ngôn ngữ tự nhiên cho đến các mô hình LLM mới nhất.

20 học viên đang tham gia khóa học này

Độ khó Nhập môn

Thời gian Không giới hạn

NLP
NLP
RNN
RNN
self-attention
self-attention
transformer
transformer
LLM
LLM
NLP
NLP
RNN
RNN
self-attention
self-attention
transformer
transformer
LLM
LLM

Bạn sẽ nhận được điều này sau khi học.

  • Quá trình phát triển của mô hình ngôn ngữ và nguyên lý của từng mô hình ngôn ngữ

  • Nguồn gốc của NLP

  • Cấu trúc và nguyên lý của Transformer

  • Cấu trúc và nguyên lý của RNN, LSTM

  • Nguyên lý của cơ chế Attention

Lịch sử và sự phát triển của LLM: Từ nguồn gốc của mô hình ngôn ngữ đến những công nghệ mới nhất

🧭 Lưu ý

Hiện tại, bài giảng đang trong quá trình hoàn thiện. Có một nhược điểm là bạn sẽ phải chờ đợi khá lâu cho đến khi bài giảng được hoàn tất (mặc dù tôi sẽ bổ sung thường xuyên). Xin vui lòng cân nhắc kỹ điều này trước khi quyết định mua.

📋Lịch sử thay đổi

  • Ngày 10 tháng 12 năm 2025


    • Tôi đã công khai mục lục vì dự định sẽ bổ sung thêm hàng loạt bài học mới. Tôi đã đánh dấu là [Phiên bản 2].

    • Tôi đã đánh dấu các bài học cũ là [Phiên bản 1]. Tôi dự định sẽ chỉnh sửa các bài học cũ này. Khi nội dung được thay đổi sang bản chỉnh sửa, tôi sẽ đánh dấu tiêu đề bài học là [Phiên bản 2].

🔍Tổng quan khóa học

Khóa học này là quá trình học tập toàn diện về dòng chảy phát triển của các mô hình ngôn ngữ, từ những nghiên cứu sơ khai về xử lý ngôn ngữ tự nhiên cho đến các mô hình ngôn ngữ lớn (LLM) mới nhất hiện nay. Người học sẽ hiểu một cách hệ thống những thay đổi về mặt kỹ thuật, bắt đầu từ thời đại dựa trên quy tắc, trải qua các mô hình ngôn ngữ thống kê, mô hình dựa trên mạng thần kinh, cuộc cách mạng Transformer, cho đến các LLM tập trung vào đa phương thức (multimodal), tối ưu hóa hiệu suất và ứng dụng như ngày nay.

🔍 Mục tiêu học tập

  • Hiểu toàn bộ dòng chảy phát triển của các mô hình ngôn ngữ.

  • Nắm vững đặc điểm của các mô hình cốt lõi theo từng thời kỳ (RNN, LSTM, Transformer, BERT, GPT, v.v.).

  • Hệ thống hóa các công nghệ LLM mới nhất và xu hướng nghiên cứu một cách cấu trúc.

  • Hiểu về các kỹ thuật tối ưu hóa LLM và phương thức ứng dụng thực tế.

  • Nhìn nhận một cách phê phán về định hướng nghiên cứu và những hạn chế của LLM trong tương lai.

🔍 Cấu trúc học tập

Bài giảng bao gồm tổng cộng 6 phần, mỗi phần được cấu trúc xoay quanh dòng chảy thời gian và các trục nghiên cứu chính.

  • Phần 1: Nguồn gốc và sự phát triển ban đầu của NLP

  • Phần 2: Nghiên cứu mô hình ngôn ngữ trước thời kỳ Transformer

  • Phần 3: Cuộc cách mạng Transformer và Mô hình ngôn ngữ lớn

  • Phần 4: Các công nghệ LLM mới nhất và xu hướng nghiên cứu

  • Phần 5: Công nghệ hiệu quả hóa LLM và tối ưu hóa mô hình

  • Phần 6: Ứng dụng LLM · Tích hợp hệ thống · Triển vọng tương lai

📘Phần 1. Nguồn gốc và sự phát triển ban đầu của mô hình ngôn ngữ

Trong phần này, chúng ta sẽ tìm hiểu về điểm khởi đầu của NLP cho đến nền tảng của các mô hình ngôn ngữ sơ khai.

Nội dung học tập chính
  • NLP đã bắt đầu như thế nào và giải quyết những vấn đề gì

  • Hệ thống dựa trên quy tắc đã được cấu tạo như thế nào và tại sao lại gặp phải những hạn chế

  • Mô hình ngôn ngữ thống kê (n-gram LM) đã xuất hiện như thế nào

  • Sự xuất hiện và ý nghĩa của các kho ngữ liệu lớn thời kỳ đầu như Brown Corpus, Penn Treebank, v.v., such as the Brown Corpus and Penn Treebank

  • Khái niệm Giả thuyết phân bố (Distributional Hypothesis) và cách áp dụng trong NLP

  • Sự ra đời và đóng góp của các kỹ thuật nhúng từ (word embedding) sơ khai như Word2Vec, GloVe, v.v.

📘Phần 2. Sự phát triển của mô hình ngôn ngữ trước Transformer

Trong phần này, chúng ta sẽ tìm hiểu về việc các mô hình dòng RNN đã thay đổi NLP như thế nào, cũng như những hạn chế kỹ thuật trước thời kỳ Transformer.

Nội dung học tập chính
  • Bối cảnh ra đời và nguyên lý cấu tạo của RNN, LSTM, GRU

  • Bản chất của vấn đề phụ thuộc đường dài (Long-term dependency)

  • Cấu trúc Seq2Seq đã dẫn dắt sự đổi mới trong dịch máy như thế nào

  • Lý do xuất hiện và hiệu quả của cơ chế Attention

  • Mô hình ngôn ngữ dựa trên CNN có phân loại nghiên cứu khác nhau nên không chắc chắn, nhưng hãy học các ý tưởng chính

  • Tổng hợp tình hình nghiên cứu ngay trước thời điểm Transformer ra đời và hiểu rõ nhu cầu cần thiết của các mô hình thế hệ tiếp theo.

📘Phần 3. Cuộc cách mạng Transformer và kỷ nguyên của các mô hình ngôn ngữ lớn

Trong phần này, bạn sẽ tìm hiểu về việc thời đại LLM hiện đại tập trung vào Transformer đã được mở ra như thế nào.

Nội dung học tập chính
  • Cấu trúc và đặc điểm của Transformer, tiêu biểu là qua bài báo “Attention Is All You Need”

  • Bối cảnh ra đời của Tiền huấn luyện (Pretraining) và Mô hình hiểu ngôn ngữ

  • Khái niệm tính hai chiều của mô hình BERT, kỹ thuật MLM (Masked LM)

  • Dòng phát triển chính của dòng GPT (GPT–GPT-4)

  • Thiết lập mô hình học tập tiêu chuẩn theo quy trình “Tiền huấn luyện (Pre-training) → Tinh chỉnh (Fine-tuning)”

  • Ý nghĩa của Quy luật tỷ lệ (Scaling Laws) và sự thay đổi trong chiến lược huấn luyện LLM

📘Phần 4. Các mô hình LLM mới nhất và sự phát triển công nghệ

Phần này không chỉ đề cập đến cấu trúc, đặc điểm và phương pháp học tập của LLM mới nhất mà còn bao gồm cả mô hình dựa trên phản hồi của con người.

Nội dung học tập chính
  • Đặc điểm chung của các LLM mới nhất như GPT-4, Llama, Claude, v.v.

  • Bối cảnh ra đời của các LLM mã nguồn mở (ví dụ: Llama·Mistral)

  • Các kỹ thuật học tập tùy chỉnh theo người dùng như RLHF, DPO và Instruction Tuning

  • Cấu trúc và ví dụ ứng dụng của mô hình đa phương thức (Multimodal)

  • Các nghiên cứu về định kiến, ảo giác, tính an toàn và các yếu tố cân nhắc về đạo đức

📘Phần 5. Công nghệ hiệu quả hóa LLM và tối ưu hóa mô hình

Phần này tập trung vào các kỹ thuật giúp mô hình quy mô lớn trở nên nhẹ hơn và nhanh hơn.

Nội dung học tập chính
  • Lượng tử hóa (Quantization), Cắt tỉa (Pruning), Chưng cất tri thức (Knowledge Distillation)

  • PEFT (Parameter-Efficient Fine-Tuning) như LoRA·Prefix Tuning

  • Các thuật toán Attention tốc độ cao như FlashAttention

  • Kỹ thuật giảm chi phí suy luận

  • Khái niệm và thách thức kỹ thuật của LLM trên thiết bị (on-device)

  • Các ví dụ về tối ưu hóa hiệu quả trong ứng dụng dịch vụ thực tế

📘Phần 6. Ứng dụng LLM · Tích hợp hệ thống · Triển vọng tương lai

Phần này giúp bạn tìm hiểu về cách LLM được ứng dụng trong các hệ thống và dịch vụ thực tế,
đồng thời tổng kết các hướng đi trong tương lai trong khi thừa nhận một số điểm còn chưa chắc chắn.

Nội dung học tập chính
  • Cấu trúc và ưu điểm của Retrieval-Augmented Generation (RAG)

  • Nguyên lý của LLM dựa trên việc sử dụng công cụ như Toolformer và ReAct

  • LLM đặc thù cho từng lĩnh vực như y tế, pháp luật, lập trình

  • Mở rộng các mô hình đa phương thức như GPT-4V

  • Nghiên cứu hệ thống tự trị dựa trên LLM (một số phần “không chắc chắn”)

  • Triển vọng tương lai và các điểm tranh luận của LLM (ví dụ: khả năng đạt được AGI → “không chắc chắn”)

🔍Màn hình ví dụ

Giống như màn hình ví dụ dưới đây, các khái niệm liên quan đến LLM sẽ được giải thích chi tiết bằng cách sử dụng nhiều sơ đồ khác nhau trong bài giảng. Đặc biệt, các sơ đồ liên quan đến NLP, RNN, self-attention, transformer và LLM sẽ được sử dụng để giải thích một cách tập trung.

Ví dụ màn hình được giải thích trong bài học 3 (1)

Ví dụ màn hình giải thích trong buổi học 3 số 2

Tiêu đề bài giảng

Ví dụ màn hình được giải thích trong bài học 3 số 3

🔍Lưu ý trước khi khóa học bắt đầu

Đối tượng

  • Người học quan tâm đến Trí tuệ nhân tạo và Khoa học dữ liệu

  • Các nhà phát triển và nghiên cứu muốn hiểu một cách hệ thống về công nghệ NLP hoặc LLM

  • Những người muốn nắm bắt xu hướng mới nhất của công nghệ trí tuệ nhân tạo


Kiến thức tiên quyết

  • Các khái niệm cơ bản về Machine Learning

  • Kinh nghiệm sử dụng các mô hình đơn giản dựa trên Python (khuyến nghị)

Hiệu quả mong đợi

  • Bạn có thể hiểu sâu sắc về toàn bộ lịch sử phát triển của các mô hình ngôn ngữ.

  • Có thể trang bị kiến thức nền tảng để phân tích và vận dụng các công nghệ cũng như xu hướng LLM mới nhất.

  • Có thể thiết kế hướng giải quyết vấn đề, thiết kế dịch vụ và hướng nghiên cứu sử dụng LLM.

Môi trường thực hành

  • Vì đây là bài giảng tập trung vào lý thuyết nên không cần môi trường thực hành riêng biệt.

Tài liệu học tập

  • Đính kèm giáo trình bài giảng dưới định dạng tệp PDF.

Lịch sử và sự phát triển của LLM: Từ nguồn gốc của mô hình ngôn ngữ đến những công nghệ mới nhất

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Dành cho những ai muốn tìm hiểu về nguồn gốc, quá trình phát triển và xu hướng công nghệ của LLM.

  • Dành cho những ai muốn tìm hiểu về cấu trúc mạng thần kinh nhân tạo, nền tảng của LLM

  • Những người muốn tích lũy kiến thức lý thuyết để trực tiếp phát triển LLM

Xin chào
Đây là arigaram

695

Học viên

38

Đánh giá

2

Trả lời

4.6

Xếp hạng

18

Các khóa học

Tôi là một người coi IT vừa là sở thích vừa là nghề nghiệp.

Tôi có nhiều kinh nghiệm trong việc viết lách, dịch thuật, tư vấn, phát triển và giảng dạy.

Chương trình giảng dạy

Tất cả

72 bài giảng ∙ (10giờ 39phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của arigaram

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

6.897.971 ₫