Trí tuệ nhân tạo (AI) và công nghệ học sâu đang tái định hình nhiều ngành nghề, nhưng không dễ để nắm bắt bức tranh tổng thể về những khái niệm làm nền tảng cho các mô hình ngôn ngữ lớn (LLM) và hướng phát triển của chúng.
Các tài liệu hiện có thường sa đà vào những bài giải thích nghiên cứu phức tạp dành cho kỹ sư, hoặc ngược lại, chỉ dừng ở mức các mẹo viết prompt rời rạc. Khóa học này nằm ở khoảng giữa, giải thích những nguyên lý và khái niệm thiết yếu dành cho các nhà hoạch định và lãnh đạo doanh nghiệp, cùng xu hướng toàn cầu, cơ cấu chi phí và các ví dụ ứng dụng trong từng ngành, bằng ngôn ngữ và khái niệm dễ hiểu nhất có thể. Thông qua sơ đồ trực quan và các ví dụ thực tế, khóa học trình bày xuyên suốt từ xử lý ngôn ngữ tự nhiên (NLP) và nhúng từ đến các khái niệm về Transformer và cơ chế chú ý, cục diện cạnh tranh giữa các tập đoàn công nghệ lớn sau ChatGPT, cũng như nguyên nhân gây ra hiện tượng ảo giác (Hallucination).
Để giải thích bức tranh tổng quan về trí tuệ nhân tạo (AI), bài giảng trình bày nguyên lý hoạt động của mạng nơ-ron nhân tạo. Bạn sẽ trực tiếp quan sát cách mạng nơ-ron học dữ liệu (lan truyền thuận và lan truyền ngược) rồi suy luận bằng Google TensorFlow Playground, đồng thời tìm hiểu nguyên lý hoạt động từ perceptron đến perceptron đa tầng (MLP).
Xử lý ngôn ngữ tự nhiên (NLP), lĩnh vực giúp máy tính xử lý ngôn ngữ của con người, bắt đầu từ việc chuyển từ ngữ thành các con số. Nội dung giới thiệu những hạn chế của mã hóa one-hot, nguyên lý nhúng từ Word2Vec—dự đoán từ trung tâm dựa trên các từ xung quanh trong câu (CBOW) hoặc dự đoán các từ xung quanh dựa trên từ trung tâm (Skip-gram)—cùng khái niệm độ tương đồng cosine.
Tìm hiểu về Attention, khái niệm cốt lõi của Transformer, mô hình đã mở ra kỷ nguyên LLM ngày nay. Qua ví dụ tìm đối tượng mà đại từ chỉ định ('It') đề cập đến khi dịch từ tiếng Hàn sang tiếng Anh, bạn sẽ theo dõi cách xác định từ nào cần chú ý trong câu, đồng thời tìm hiểu ba loại Attention: encoder self-attention, masked decoder self-attention và cross-attention; multi-head attention; cũng như tổng quan về sự khác biệt giữa các dòng encoder (BERT) và decoder (GPT).
Chúng ta sẽ tìm hiểu toàn bộ quá trình tạo ra và hoàn thiện mô hình. Trong quy trình gồm 4 giai đoạn, từ tiền huấn luyện (Pre-training), suy luận, hậu huấn luyện (tinh chỉnh) và học tăng cường từ phản hồi của con người (RLHF) cho đến chưng cất tri thức để nén mô hình, chúng ta sẽ xác định vị trí của từng kỹ thuật. Phần thực hành triển khai tinh chỉnh mô hình mã nguồn mở thực tế sẽ được đề cập trong các khóa học tiếp theo, dự kiến ra mắt sau.
Sau khi ChatGPT ra mắt, chúng ta sẽ điểm qua cuộc đua bám đuổi của các đối thủ theo sau, cạnh tranh vị thế công nghệ giữa Mỹ và Trung Quốc (DeepSeek, Qwen, v.v.), cục diện các mô hình tiên phong mới nhất và chiến lược kinh doanh của từng ông lớn công nghệ. Thông qua các ví dụ ứng dụng trong từng ngành, từ tìm kiếm, tự động hóa văn phòng, lập trình đến biên tập nội dung, đào tạo CNTT, chăm sóc sức khỏe và đời sống hằng ngày, chúng ta sẽ tìm ra những lĩnh vực phù hợp để áp dụng vào tổ chức của mình.
Chúng ta cũng xem xét mặt trái của việc ứng dụng LLM. Thông qua các ví dụ cụ thể, bạn sẽ hiểu rõ nguyên nhân gây ra hiện tượng ảo giác (Hallucination) và vấn đề xung đột dữ liệu theo từng thời điểm, đồng thời tìm hiểu vai trò cơ bản của RAG (tạo sinh tăng cường bằng truy xuất) và cơ sở dữ liệu vector trong việc khắc phục hiện tượng này. Ngoài ra, chúng ta sẽ tổng hợp những hạn chế cần biết trước khi triển khai, bao gồm tình trạng khan hiếm dữ liệu do thiếu dữ liệu công nghệ mới nhất, tranh chấp bản quyền xoay quanh việc huấn luyện bằng mã nguồn mở, cũng như các rủi ro về quyền riêng tư và đạo đức.
Buổi định hướng và định nghĩa mô hình ngôn ngữ (LM), nguyên lý Word2Vec (CBOW·Skip-gram)
Sự ra đời của mô hình ngôn ngữ lớn (LLM) và Transformer, cấu trúc của bộ dịch Seq2Seq
Quan sát trực tiếp quá trình huấn luyện mạng nơ-ron nhân tạo (lan truyền xuôi, lan truyền ngược) và suy luận bằng TensorFlow Playground.
Xu hướng của các tập đoàn công nghệ lớn toàn cầu và AI chủ quyền, cơ cấu chi phí triển khai (BEP), các mô hình SOTA theo lĩnh vực, AI lập trình và sự phát triển của các gói cước
Các giới hạn của hiện tượng ảo giác (Hallucination) qua những ví dụ thực tế (đếm số ký tự, thay đổi từ ngữ chuẩn, v.v.) và khái quát về RAG cùng cơ sở dữ liệu vector.
Giới hạn của các mô hình ngôn ngữ truyền thống (N-gram·RNN) trong việc dự đoán câu dài và dòng phát triển của các mô hình sau Transformer
Phân biệt giữa huấn luyện và suy luận, quy trình gồm 4 giai đoạn: tiền huấn luyện, tinh chỉnh, RLHF và chưng cất tri thức.
Sự phát triển về quy mô tham số (B) và cách tính bộ nhớ GPU, lượng tử hóa, MoE và thông số kỹ thuật của AI trên thiết bị
Mối quan hệ giữa độ dài ngữ cảnh (Token) và gói cước, khái niệm mô hình nhân quả (Causal), mô hình làm theo chỉ dẫn (Instruct) và few-shot.
Khái niệm attention và ví dụ theo dõi đại từ, attention đa đầu, Vision Transformer (DLSS) và nguyên lý Stable Diffusion
Cuộc cách mạng ChatGPT (vượt mốc 1 tỷ người đăng ký) và sự bám đuổi của các đối thủ theo sau nhanh chóng, cuộc cạnh tranh giành quyền thống trị công nghệ AI giữa Mỹ và Trung Quốc (DeepSeek, v.v.)
Bức tranh ngành AI và chiến lược triển khai, phát triển năng lực nội bộ tại các doanh nghiệp; so sánh chiến lược kinh doanh của các công ty công nghệ lớn (Anthropic, Google, Meta)
Các ví dụ ứng dụng thực tiễn theo từng ngành, từ tự động hóa tìm kiếm, công việc và lập trình đến biên tập nội dung, đào tạo CNTT, chăm sóc sức khỏe và đời sống hằng ngày
Hạn chế của LLM: hiện tượng ảo giác, tình trạng khan hiếm dữ liệu công nghệ mới nhất và các rủi ro về bản quyền mã nguồn mở, quyền riêng tư, đạo đức.
Triển vọng tương lai (hai hướng phát triển song song: mô hình siêu lớn và mô hình tinh gọn, mô hình VLA cho xe tự hành) và lời kết
Hoàn thành chương trình cử nhân, thạc sĩ và tiến sĩ ngành Khoa học Máy tính tại Đại học Quốc gia Seoul.
Giảng dạy các công nghệ cốt lõi về AI tại những viện nghiên cứu và doanh nghiệp lớn như Viện Nghiên cứu Điện tử và Viễn thông Hàn Quốc (ETRI), Samsung SDS Multicampus.
Giảng dạy tại Đại học Korea, Đại học Soongsil, Đại học Myongji, Đại học Quốc gia Chungnam, v.v.
Với triết lý giáo dục “truyền đạt những nguyên lý và bối cảnh cốt lõi, chứ không phải lớp vỏ công nghệ”, ông/bà đang hỗ trợ vô số nhà lãnh đạo và người làm chuyên môn trong quá trình chuyển đổi AI.
![Lập trình Excel theo cảm hứng: Tự động hóa menu Ribbon bằng AI mà không cần biết VBA [Masterclass Power Tools]Hình thu nhỏ khóa học](https://cdn.inflearn.com/public/files/courses/343602/cover/01m2mmj8wt743mqhjr5bxsby5c?w=420)
