inflearn logo

Hiểu về kiến trúc LLM và chiến lược tận dụng GPU dành cho bậc thầy AI

Hiểu về kiến trúc LLM dựa trên Transformer và chiến lược tận dụng GPU, đồng thời trực tiếp thực hành toàn bộ quy trình triển khai serving thực tế bằng vLLM. Khóa học bao quát toàn bộ quy trình thực tiễn, từ xây dựng pipeline hệ thống AI, giám sát đến sử dụng nhiều GPU, được thiết kế theo hướng trực quan, tập trung vào hình ảnh và thực hành để dễ hiểu mà không cần đến các công thức phức tạp.

(5.0) 27 đánh giá

524 học viên

Độ khó Cơ bản

Thời gian Không giới hạn

GPU
GPU
attention-model
attention-model
AI
AI
transformer
transformer
LLM
LLM
GPU
GPU
attention-model
attention-model
AI
AI
transformer
transformer
LLM
LLM

Đánh giá từ những học viên đầu tiên

5.0

5.0

WonJune Lee

43% đã tham gia

Tôi không làm việc trong lĩnh vực liên quan đến Deep Learning mà đang làm trong mảng Computer Vision (rule-based). Vì công ty cần các kỹ thuật về LLM và Deep Learning cho Vision nên tôi đang nghiên cứu về chủ đề này. Mặc dù mới chỉ học được khoảng 40% nhưng tôi cảm thấy mình phải viết đánh giá ngay nên đã đăng bài này. Tôi đã nghe rất nhiều bài giảng về Deep Learning, kể cả những bài giảng của những người nổi tiếng và được đánh giá tốt, nhưng chưa có bài giảng nào súc tích và mạch lạc như bài giảng này. Điều tuyệt vời nhất là chất lượng tài liệu bài giảng rất xuất sắc. Tác giả đã ghi lại từng phép tính ma trận bằng Excel, điều này giúp ích rất nhiều khi ôn tập. Mã nguồn Python cũng được chú thích ở rất nhiều chỗ. Chất lượng bài giảng cũng rất tốt, những phần mà học viên có thể quên đều được nhắc lại để không bị bỏ lỡ. Trong khi hầu hết các bài giảng khác chỉ trình bày phép tính một hai lần rồi bỏ qua, thì ở bài giảng này, giảng viên cùng thực hiện phép tính cho đến cuối cùng, giúp mọi thứ trở nên rõ ràng và chuẩn xác. Phần Q&A cũng được kiểm tra thường xuyên, khi tôi đặt câu hỏi là được phản hồi ngay lập tức nên rất thích. Có vẻ bài giảng được quay trong năm nay nên có rất nhiều nội dung về các xu hướng mới nhất. Có vẻ bài giảng này vẫn chưa được nhiều người biết đến, nhưng tôi thực sự nhiệt liệt đề xuất cho những ai cần học về chủ đề liên quan.

5.0

램쥐뱅

100% đã tham gia

Tuyệt vời, cảm ơn bạn.

5.0

정현욱

61% đã tham gia

Cảm ơn bạn đã giải thích dễ hiểu.

Bạn sẽ nhận được điều này sau khi học.

  • Hiểu cấu trúc encoder–decoder và nguyên lý hoạt động cốt lõi của mô hình Transformer

  • Hiểu được quá trình phát triển của các cơ chế attention mới nhất như MHA, MQA, GQA, MLA, v.v.

  • Thực hành cách sử dụng công cụ vLLM, tiêu chuẩn trên thực tế hiện nay cho việc phục vụ AI

  • Giám sát các chỉ số hiệu suất chính như TTFT, TPOT trong môi trường serving vLLM

  • Thiết kế và triển khai kiến trúc đa GPU sử dụng Tensor/Pipeline/Data Parallel

  • Hiểu các khái niệm cốt lõi của Agent AI và nguyên lý hoạt động của Tool Calling

  • Kinh nghiệm xây dựng pipeline hệ thống AI và giám sát hiệu suất theo góc nhìn thực tế trong ngành

  • Hiểu các xu hướng LLM mới nhất như MLA, MTP, engram dựa trên các bài báo khoa học mới nhất

Trong thời đại AI Agent,
năng lực thực tiễn để hiểu các hệ thống AI ngày càng trở nên quan trọng.

Từ cấu trúc LLM dựa trên Transformer
đến việc sử dụng GPU, triển khai vLLM và chiến lược đa GPU

Lớp học thực hành về kiến trúc LLM

Trong thời đại AI Agent tự chủ
bạn có thể tận dụng nhiều công cụ Agent và Public API khác nhau như OpenAI, Claude, Codex.

Tuy nhiên, trong môi trường dịch vụ thực tế, bạn cũng cần cân nhắc cả
bảo mật dữ liệu, chi phí mạng, chi phí token và quản lý tài nguyên GPU.

Vì vậy, điều quan trọng là
hiểu và kết hợp Public API với LLM dựa trên GPU riêng tùy theo tình huống
để xây dựng kiến trúc Hybrid AI.


Vậy thì việc chỉ sử dụng Public API có phải lúc nào cũng là lựa chọn tốt nhất không?

Không hẳn như vậy.

Hiện nay, nhiều LLM trong và ngoài nước có khả năng sánh ngang với public API (chatGPT, Claude, Sonnet, v.v.)
đang được phát triển.



3 mô hình được chọn dựa trên kết quả đánh giá lần đầu về AI có chủ quyền trong nước


Tuy nhiên, việc hiểu rõ và sử dụng LLM không hề dễ dàng.
Mua GPU đắt tiền rồi
hiểu và sử dụng LLM hay sử dụng mà không hiểu sẽ
tạo ra sự khác biệt rất lớn.

Vì vậy, giờ là lúc học về kiến trúc để trực tiếp phục vụ LLM.


🌟 Từ Kiến trúc LLM đến Triển khai phục vụ


대규모 에이전트의 시대를 맞이하여 이제는 학습보다 추론의 시대입니다. Public API를 잘 사용하는 것도 필요하지만, 많은 기업에서는 보안, 거버넌스, 비용 등 여러 이유로 로컬 환경에서 서빙 환경을 구축하는 것을 선호합니다. 로컬 환경에서 LLM 서빙 환경을 구축하기 위한 LLM 아키텍처의 이해부터 아키텍처 구성, LLM 개발 트렌드까지 모든 것을 배워보세요.


Cấu trúc Core của khóa học

Core 1. Tìm hiểu về mô hình Hugging Face


Bạn cần biết và sử dụng vô số LLM được công khai trên Hugging Face.
Tuy nhiên, đối với người mới bắt đầu, tệp config.json cung cấp thông số kỹ thuật của mô hình LLM chẳng khác nào một bản mật mã. Bởi vì bạn phải hiểu mô hình Transformer (transformer) thì mới có thể đọc được tệp này.

Nhưng đừng lo lắng. Sau khi học khóa học này, bạn sẽ có thể trở thành chuyên gia đọc và hiểu các thông số kỹ thuật chính.

Hãy học cách giải mã tệp config.json thông qua khóa học này.

(Đây là nội dung của chương 3–5. Hãy nắm vững tất cả các tham số chính còn lại.)


Core 2. Làm chủ Attention

Khởi đầu và kết thúc của mô hình Transformer, nền tảng của các mô hình LLM hiện nay, đều là attention.

attention-model xuất hiện vào năm 2017 nhưng
đến nay vẫn giữ vị trí là thuật toán mạnh nhất trong gần 10 năm.
Dù đã có nhiều nỗ lực nhằm thoát khỏi cấu trúc Transformer,
cho đến nay vẫn chưa có kiến trúc nào hoàn toàn thay thế được attention của Transformer.

⚠️ Tuyệt đối không được chỉ hiểu sơ sài về attention.


Hãy hiểu hoàn toàn nguyên lý của cơ chế attention và tìm hiểu cả quá trình phát triển của nó.

(Đây là nội dung của phần chương 5-4. Quá trình phát triển của attention chính là quá trình phát triển của LLM.)


Core 3. Chinh phục kiến trúc đa GPU

Cấu hình đa GPU là điều cần thiết để vận hành LLM quy mô lớn và suy luận nhanh chóng.
Tuy nhiên, bạn có biết rằng cũng có nhiều cách để cấu hình đa GPU không?


핵심 AI 엔지니어가 되기 위한 필수 관문, GPU 활용 전략에 대해 전수해 드립니다.




😄 Khóa học này phù hợp với những người như sau

Người mới làm quen với AI

Những ai muốn tìm hiểu về cấu trúc Transformer và Attention nhưng cảm thấy khó khăn vì các công thức và khái niệm phức tạp

Người mới bắt đầu với AI

Những người đã từng sử dụng ChatGPT hoặc các dịch vụ AI tạo sinh nhưng muốn hiểu nguyên lý hoạt động thực tế của
LLM

Kỹ sư AI

AI kỹ sư cần hiểu kiến trúc LLM và môi trường GPU,
đồng thời có năng lực xây dựng và vận hành hệ thống AI thực tế

💡 Nội dung học được trong khóa học

Bước 1. Nền tảng

  • Hiểu về mô hình Transformer

  • Tokenizer & Embedding

  • Encoder so với Decoder

  • Xem mã nguồn mô hình

Bước 2. Cơ chế Attention

  • Decoder 모델 정복

  • Làm chủ Attention

  • Masked Attention

  • Bộ nhớ đệm KV

Bước 3. Serving

  • Phục vụ vLLM

  • Paged Attention

  • Tương thích với OpenAI

  • Giao thức SSE

Bước 4. Tool Call

  • Hiểu về Tool Call

  • Kiến trúc phản hồi của Tool

  • Mẫu Chat (Chat Template)

  • Bộ phân tích lệnh gọi công cụ

Bước 5. Tối ưu hóa

  • Kiểm thử hiệu năng

  • Giám sát vLLM

  • Đa GPU & Parallelism

  • Các tính năng bổ sung của vLLM

Bước 6. Nâng cao

  • Dự đoán nhiều token

  • mHC

  • Engram

  • Những nỗ lực vượt qua giới hạn

💡 Điểm cốt lõi của bài giảng

Điểm 1

Nguyên lý cốt lõi của attention được học mà không cần công thức


Học trực quan các kỹ thuật attention khác nhau thông qua Excel mà không cần công thức (MHA → MQA → GQA, attention Sliding Window)

Point 2

Triển khai kiến trúc AI với cấu trúc 3 tầng


Hiểu cấu trúc cơ bản của kiến trúc 3 tầng gồm OpenWebUI, FastAPI và vLLM, đồng thời học luồng cơ bản để tích hợp Tool.

Point 3

Đo lường số lượng người dùng đồng thời và mẹo vận hành vLLM

Sử dụng jMeter để kiểm tra tải FastAPI → vLLM, qua đó xác nhận các chỉ số như TTFT, TPOT theo số lượng người dùng đồng thời.

Điểm 4

Giám sát dịch vụ vLLM

Xây dựng pipeline dashboard Prometheus & Grafana để nắm vững các nguyên lý cơ bản về vận hành dịch vụ vLLM.

Point 5

Kiểm thử GPU đơn / đa GPU

Thông qua thực hành về 3 phương pháp đa GPU cơ bản (Pipeline Paralle, Tensor Parallel, Data Parallel), bạn sẽ trực tiếp quan sát và hiểu tại sao đa GPU lại cần thiết.

Điểm 6

Làm chủ các xu hướng phát triển LLM

Giới thiệu các xu hướng phát triển LLM đang được triển khai nhằm áp dụng những kỹ thuật mới nhất như MTP, Shared MoE, MLA, Engram của DeepSeek và tối ưu hóa hiệu quả suy luận.

✅ Các công cụ được sử dụng trong khóa học




✅ Hướng dẫn về môi trường thực hành máy chủ

Việc xây dựng hệ thống vLLM sẽ được thực hiện bằng Runpod. Ngoài ra, các bài thực hành sử dụng GPU T4 của Google Colab cũng sẽ được tiến hành song song. GPU T4 cung cấp 15GB bộ nhớ GPU, vì vậy những bài thực hành có thể thực hiện trên Colab sẽ được tiến hành trên Colab.

Runpod

Cấu hình môi trường thực hành dựa trên luồng OpenWebUI → FastAPI → Runpod. Triển khai vLLM trên máy chủ GPU của đám mây Runpod để tiến hành nhiều bài thực hành.

Chi phí thực hành khoảng $10 ~ $20 sẽ phát sinh.


Google Colab

Google Colab, được xem là môi trường tiêu chuẩn cho các bài thực hành trí tuệ nhân tạo (AI), được sử dụng cho những bài thực hành đơn giản không cần môi trường Runpod. Khóa học sẽ được thực hiện trên gói miễn phí thông thường, không phải Pro, và sử dụng GPU T4.

✅ Hướng dẫn môi trường thực hành cục bộ

Dịch vụ vLLM được triển khai trên Runpod, nhưng
OpenwebUI và FastAPI cũng sẽ được chạy trên máy tính cục bộ của bạn khi tham gia khóa học.
Vì vậy, vui lòng kiểm tra xem môi trường học tập dưới đây có đáp ứng yêu cầu hay không!



Runpod và Colab được sử dụng làm môi trường thực hành chính, nhưng
Bạn sẽ thực hành bằng cách chạy OpenWebUI và FastAPI trong môi trường cục bộ.

⚠️ Khóa học này cũng sẽ được cập nhật khi vLLM được cập nhật.

Tốc độ cập nhật của vLLM rất nhanh. Tuy nhiên, phiên bản Major vẫn đang ở dòng 0.
Dù vậy, nhiều doanh nghiệp đang sử dụng vLLM làm engine suy luận như một tiêu chuẩn trên thực tế.
Không chỉ hỗ trợ các mô hình Transformer đang giữ vai trò chủ đạo trong LLM hiện nay, vLLM còn hỗ trợ cả kiến trúc Mamba xuất hiện như một giải pháp thay thế; mỗi khi các tính năng mới được bổ sung vào mô hình, chẳng hạn như Multi Token Prediction, vLLM lại được cập nhật để hỗ trợ các tính năng đó.
Khóa học này cũng sẽ được cập nhật khi có tính năng mới của vLLM hoặc loại mô hình mới.

Đừng bỏ lỡ xu hướng của LLM.


Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Những người đang sử dụng ChatGPT và AI tạo sinh nhưng muốn hiểu LLM thực sự hoạt động như thế nào.

  • Người mới bắt đầu muốn học một cách có hệ thống về việc phục vụ LLM và cấu trúc hệ thống với mục tiêu trở thành kỹ sư AI

  • Nhà phát triển muốn hiểu cấu trúc Transformer và Attention từ góc độ thực tiễn mà không cần các công thức phức tạp.

  • Kỹ sư backend và hạ tầng muốn hiểu quy trình xây dựng hệ thống AI thực tế trong môi trường tối ưu hóa GPU và đa GPU

  • PM·nhà lập kế hoạch muốn hiểu cấu trúc LLM và chiến lược sử dụng GPU trong quá trình lập kế hoạch và phát triển dịch vụ AI

Cần biết trước khi bắt đầu?

  • Hiểu biết về cú pháp cơ bản của Python (biến, hàm, câu lệnh điều kiện, v.v.)

  • Cách sử dụng cơ bản của git

Xin chào
Đây là hyunjinkim

Xác minh Inflearn

2,026

Học viên

134

Đánh giá

251

Trả lời

4.9

Xếp hạng

3

Các khóa học

Xin chào.

Tôi là một người đang làm việc trong lĩnh vực Dữ liệu & AI tại một tập đoàn lớn với 17 năm kinh nghiệm.

Sau khi đạt được bằng Kỹ sư Công nghệ Thông tin (Information Management Professional Engineer), tôi đang xây dựng nội dung nhằm chia sẻ những kiến thức đã tích lũy được cho nhiều người.

Rất vui được gặp bạn. :)

 

Liên hệ: hjkim_sun@naver.com

Thêm

Chương trình giảng dạy

Tất cả

53 bài giảng ∙ (14giờ 27phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

27 đánh giá

5.0

27 đánh giá

  • hyunukjeong8334님의 프로필 이미지
    hyunukjeong8334

    Đánh giá 2

    ∙

    Đánh giá trung bình 4.5

    5

    61% đã tham gia

    Cảm ơn bạn đã giải thích dễ hiểu.

    • kjunekjune0812님의 프로필 이미지
      kjunekjune0812

      Đánh giá 3

      ∙

      Đánh giá trung bình 5.0

      Đã chỉnh sửa

      5

      43% đã tham gia

      Tôi không làm việc trong lĩnh vực liên quan đến Deep Learning mà đang làm trong mảng Computer Vision (rule-based). Vì công ty cần các kỹ thuật về LLM và Deep Learning cho Vision nên tôi đang nghiên cứu về chủ đề này. Mặc dù mới chỉ học được khoảng 40% nhưng tôi cảm thấy mình phải viết đánh giá ngay nên đã đăng bài này. Tôi đã nghe rất nhiều bài giảng về Deep Learning, kể cả những bài giảng của những người nổi tiếng và được đánh giá tốt, nhưng chưa có bài giảng nào súc tích và mạch lạc như bài giảng này. Điều tuyệt vời nhất là chất lượng tài liệu bài giảng rất xuất sắc. Tác giả đã ghi lại từng phép tính ma trận bằng Excel, điều này giúp ích rất nhiều khi ôn tập. Mã nguồn Python cũng được chú thích ở rất nhiều chỗ. Chất lượng bài giảng cũng rất tốt, những phần mà học viên có thể quên đều được nhắc lại để không bị bỏ lỡ. Trong khi hầu hết các bài giảng khác chỉ trình bày phép tính một hai lần rồi bỏ qua, thì ở bài giảng này, giảng viên cùng thực hiện phép tính cho đến cuối cùng, giúp mọi thứ trở nên rõ ràng và chuẩn xác. Phần Q&A cũng được kiểm tra thường xuyên, khi tôi đặt câu hỏi là được phản hồi ngay lập tức nên rất thích. Có vẻ bài giảng được quay trong năm nay nên có rất nhiều nội dung về các xu hướng mới nhất. Có vẻ bài giảng này vẫn chưa được nhiều người biết đến, nhưng tôi thực sự nhiệt liệt đề xuất cho những ai cần học về chủ đề liên quan.

      • hyunjinkim
        Giảng viên

        Chào bạn Wonjune lee, Cảm ơn bạn rất nhiều vì những đánh giá khóa học đầy tâm huyết! Tôi đã suy nghĩ rất nhiều để nâng cao chất lượng tài liệu bài giảng, sao cho học viên nhận được những tài liệu thực sự ý nghĩa và có thể dùng để ôn tập hiệu quả ngay cả sau này. Bên cạnh đó, tôi cũng đã trăn trở rất nhiều về việc làm thế nào để truyền tải các phép toán như Attention một cách hiệu quả nhất. Kết luận của tôi là không thể chỉ nhìn qua công thức, cũng không thể chỉ truyền tải qua những ví dụ so sánh đơn giản, và càng không thể chỉ giải thích bằng mã nguồn torch. Với suy nghĩ rằng chỉ khi tận mắt theo dõi luồng dữ liệu thì mới có thể hiểu được, tôi đã cố gắng giải thích tối đa bằng Excel, và tôi rất vui vì có vẻ như điều đó đã được truyền tải tốt đến bạn :) Hy vọng bạn sẽ hoàn thành tốt phần còn lại của khóa học và thu nhận được nhiều nội dung bổ ích. Cố lên nhé!

    • jusungpark님의 프로필 이미지
      jusungpark

      Đánh giá 33

      ∙

      Đánh giá trung bình 4.5

      5

      100% đã tham gia

      Tuyệt vời, cảm ơn bạn.

      • mhkim님의 프로필 이미지
        mhkim

        Đánh giá 4

        ∙

        Đánh giá trung bình 4.8

        5

        31% đã tham gia

        Tôi thực sự ngạc nhiên trước một bài giảng vô cùng chuyên nghiệp và chi tiết hơn nhiều so với những gì tôi tưởng tượng. Đã lâu rồi tôi mới thấy một bài giảng có chất lượng như thế này.. Vì công việc của tôi là kỹ sư liên quan đến AI, nên tôi đã mua khóa học với ý định chỉ học sơ qua về kiến thức cơ bản của Kiến trúc LLM (LLM Architecture) thôi, nhưng tôi cảm thấy cực kỳ hài lòng.

        • illheon0210님의 프로필 이미지
          illheon0210

          Đánh giá 3

          ∙

          Đánh giá trung bình 3.7

          5

          19% đã tham gia

          Rất tốt để làm quen hoặc bắt đầu với đề tài này.

          Khóa học tương tự

          Khám phá các khóa học khác trong cùng lĩnh vực!

          Giảm 25% cho thành viên mới

          2.189.291 ₫

          25%

          2.919.061 ₫