inflearn logo

Kiến trúc Spring AI Multi-LLM và hệ thống Agent tập trung vào Orchestration

Khóa học này là chương trình nâng cao nhằm thiết kế hệ thống Agent tập trung vào kiến trúc Multi-LLM và điều phối (orchestration) bằng cách kết hợp chiến lược GPT, Gemini và LLaMA dựa trên Spring AI. Vượt xa việc gọi LLM đơn lẻ, chúng tôi áp dụng Workflow Pattern và cấu trúc Multi-Agent để triển khai hệ thống AI có khả năng mở rộng, ổn định và không ngừng cải thiện chất lượng. Ngoài ra, khóa học còn bao gồm Circuit Breaker, Reactive Stream, giám sát Redis, xử lý song song và vòng lặp đánh giá lặp lại để hoàn thiện năng lực thiết kế kiến trúc AI ở cấp độ môi trường vận hành thực tế. Mục tiêu cuối cùng là giúp bạn phát triển thành một nhà phát triển có khả năng thiết kế hệ thống AI, chứ không chỉ đơn thuần là người sử dụng AI. 🚀

(5.0) 2 đánh giá

19 học viên

Độ khó Cơ bản

Thời gian Không giới hạn

Spring Boot
Spring Boot
gemini
gemini
ChatGPT
ChatGPT
Llama
Llama
Spring AI
Spring AI
Spring Boot
Spring Boot
gemini
gemini
ChatGPT
ChatGPT
Llama
Llama
Spring AI
Spring AI

Bạn sẽ nhận được điều này sau khi học.

  • Khả năng thiết kế kiến trúc AI dựa trên Multi-LLM

  • Cách áp dụng mô hình Agentic Workflow vào thực tế

  • Kinh nghiệm triển khai hệ thống Orchestrated Multi-Agent

  • Khả năng thiết kế xử lý song song + xử lý ngoại lệ + phục hồi sau sự cố

  • Chiến lược nâng cao AI dựa trên vòng lặp đánh giá chất lượng

  • Hiểu cấu trúc backend của dịch vụ AI ở cấp độ thực tế

Kiến trúc Spring AI Multi-LLM và hệ thống Agent tập trung vào Orchestration

Khóa học này không đơn thuần chỉ là học cách sử dụng LLM.

Đây là khóa học xây dựng năng lực thiết kế hệ thống AI có thể áp dụng vào dịch vụ thực tế.

Khóa học này bao gồm cấu trúc 3 bước sau đây.

Thiết kế chiến lược Multi-LLM → Áp dụng Workflow Pattern → Hoàn thiện Multi-Agent Orchestration


1️⃣ Thiết kế kiến trúc Multi LLM

Thiết kế cấu trúc kết hợp chiến lược giữa GPT, Gemini và LLaMA thay vì phụ thuộc vào một LLM duy nhất.

Trong giai đoạn này:

  • Phân tích đặc tính mô hình và phân chia vai trò

  • Thiết kế Router dựa trên loại yêu cầu

  • Cấu trúc ứng phó sự cố CircuitBreaker + Fallback

  • Xử lý phản hồi thời gian thực dựa trên Reactive Stream

  • Xử lý phân nhánh thông tin nhạy cảm (Security Routing)


👉 Mục tiêu không phải là “sử dụng mô hình tốt” mà là “thiết kế một kiến trúc lựa chọn mô hình một cách chiến lược”.


2️⃣ Áp dụng Agentic Workflow Patterns

Mở rộng LLM không chỉ là một API đơn thuần mà thành một cấu trúc Agent cộng tác.

Điểm mấu chốt ở đây chính là “mô hình” (pattern).

  • Chain Workflow → Cấu trúc xử lý từng bước

  • Parallelization Workflow → Cấu trúc phân tích song song

  • Routing Workflow → Lựa chọn mô hình động

  • Orchestrator–Workers → Cấu trúc cộng tác phân tách vai trò

  • Evaluator–Optimizer → Vòng lặp cải tiến lặp lại

Ở giai đoạn này:

✔ Xử lý song song (CompletableFuture)
✔ Chiến lược bộ nhớ đệm (Caching)
✔ Xử lý ngoại lệ
✔ Cấu trúc ghi nhật ký (Logging)
✔ Vòng lặp cải thiện chất lượng tự động

👉 Mục tiêu là đạt được “khả năng thiết kế cấu trúc cộng tác AI” thay vì chỉ là “gọi AI”.


3️⃣ Triển khai Hệ thống Đa tác vụ có sự Điều phối (Orchestrated Multi-Agent Systems)

Tích hợp tất cả các mẫu đã học trước đó để triển khai hệ thống điều phối Multi-Agent hoàn chỉnh.

Không chỉ dừng lại ở việc học các mô hình đơn lẻ, chúng ta sẽ hoàn thiện một cấu trúc cấp độ dịch vụ thực tế với các kết nối phức hợp.

Ví dụ về hệ thống được triển khai:

  • Hệ thống tự động hóa phân tích chiến lược

  • Hệ thống tự động tạo sản phẩm thực thi từ ý tưởng

  • Hệ thống phán quyết AI dựa trên đa số phiếu

Trong giai đoạn này:

✔ Giám sát trạng thái thời gian thực dựa trên Redis
✔ Xử lý song song + Thiết kế ThreadPool
✔ Xử lý an toàn ngoại lệ theo từng bước
✔ Vòng lặp cải thiện chất lượng lặp đi lặp lại
✔ Kiểm soát luồng dựa trên điều phối (Orchestration)

👉 Mục tiêu là hoàn thiện “năng lực thiết kế và kiểm soát hệ thống AI” chứ không phải chỉ là “triển khai tính năng AI”.


💡Nội dung cốt lõi của khóa học này

  • Thiết kế chiến lược định tuyến Multi-LLM

  • Phân tách vai trò dựa trên đặc tính của mô hình

  • Triển khai các mẫu Chain / Parallel / Routing

  • Thiết kế cấu trúc Orchestrator-Workers

  • Vòng lặp cải tiến lặp đi lặp lại Evaluator-Optimizer

  • Cấu trúc Circuit Breaker + Fallback

  • Kiến trúc giám sát trạng thái thời gian thực

  • Phân tích chiến lược, tự động hóa thực thi, triển khai hệ thống quyết định theo đa số

💡Đặc điểm của khóa học này

✔ Tập trung vào triển khai thực tế thay vì lý thuyết
✔ Thiết kế chiến lược Multi-Model thay vì mô hình đơn lẻ
✔ Cấu trúc Production Level có tính đến khả năng ứng phó sự cố
✔ Thiết kế cải thiện chất lượng AI dựa trên đánh giá lặp lại
Theo dõi trạng thái thời gian thực dựa trên Redis based on iterative evaluation
✔ Redis-based real-time status monitoring

💡Nội dung học tập chính

1⃣ Thiết lập môi trường phát triển Spring AI và môi trường Multi LLM trong SpringBoot

2⃣ Chương 1. Kiến trúc Multi LLM 

3⃣ Chương 2. Các mô hình quy trình làm việc của Agent (Agentic Workflow Patterns)

4⃣ Chương 3. Hệ thống đa tác nhân được điều phối (Orchestrated Multi-Agent Systems)

Nội dung bạn sẽ học


1⃣ Thiết lập môi trường phát triển Spring AI và môi trường Multi LLM trong SpringBoot


Trước khi thiết kế kiến trúc AI, chúng ta sẽ hoàn thiện môi trường phát triển Spring AI ở cấp độ thực tế.

Khóa học được tiến hành dựa trên dự án thực hành thực tế, không chỉ đơn thuần là thêm thư viện.

✔ Giáo án được bao gồm sẵn trong dự án thực hành
✔ Kiểm tra đồng thời cả mã nguồn và lý thuyết
✔ Cung cấp cấu trúc có thể thực thi ngay lập tức


📌 Nội dung học tập

  1. Giải thích môi trường phát triển và cấu trúc tổng thể của lớp học

  2. Tạo dự án thực hành và thiết lập giáo án

  3. Cấp và liên kết OpenAI API Key

  4. Cấp và liên kết Gemini API Key

  5. Thiết lập môi trường Ollama và cài đặt Llama 3.2

  6. Thiết lập môi trường Spring AI và hiểu cấu trúc cơ bản

  7. Thiết lập liên kết Redis




2⃣Chương 1. Kiến trúc Multi LLM 

Thiết kế cấu trúc Multi-LLM chiến lược thay vì chỉ một mô hình đơn lẻ.


1. Đa mô hình ngôn ngữ lớn (Multi LLM)

Đây là cấu trúc sử dụng đồng thời 3 LLM: GPT, Gemini và LLaMA.

Triển khai kiến trúc dịch vụ dựa trên Multi-LLM để lựa chọn mô hình phù hợp tùy theo loại yêu cầu và chiến lược.

✔ Thiết kế chiến lược dựa trên đặc tính của mô hình
✔ Triển khai cấu trúc phân tách mô hình ở cấp độ dịch vụ


2. Multi LLM Stream

Xử lý streaming dựa trên Reactive Streams (Project Reactor)

✔ Phản hồi thời gian thực theo đơn vị token
✔ Cấu trúc dựa trên bất đồng bộ
✔ Cải thiện trải nghiệm người dùng


3. Fallback (Kiến trúc ứng phó sự cố)

Thiết kế cấu trúc kép LLaMA(Ollama) + GPT

✔ Áp dụng Resilience4j CircuitBreaker
✔ Tự động chuyển sang GPT Fallback khi xảy ra lỗi
✔ Đảm bảo độ ổn định ở cấp độ Production


4. Router (Phân loại chiến lược mô hình)

Phân loại yêu cầu của người dùng để lựa chọn mô hình.

CREATIVE(Sáng tạo nội dung / Suy luận / Lập trình) Sử dụng GPT

Sử dụng Gemini cho TECHNICAL (Phân tích kỹ thuật / Xử lý dữ liệu)

GENERAL(Hỏi đáp đơn giản) sử dụng LLaMA

UNKNOWN(phân loại thất bại) sử dụng GPT

✔ Thiết kế cấu trúc lựa chọn mô hình dựa trên chiến lược


5. Security (Kiến trúc bảo vệ thông tin nhạy cảm)

Phát hiện thông tin nhạy cảm trong dữ liệu đầu vào để phân nhánh sang Local LLM hoặc LLM bên ngoài.

✔ Số điện thoại
✔ Email
✔ Số chứng minh nhân dân
✔ Từ khóa bảo mật



3⃣Chương 2. Các mô hình quy trình làm việc của Agent (Agentic Workflow Patterns)

Mở rộng LLM không chỉ là một “công cụ” mà thành một cấu trúc Agent cộng tác.


1. Chain Workflow

Triển khai cấu trúc kết nối các tác vụ theo trình tự, chuyển kết quả của bước trước đó làm đầu vào cho bước tiếp theo.

  • Step1 (Tóm tắt) → Gemini (Xử lý nhanh)

  • Step2 (심층 분석) → GPT (정확한 추론)

  • Step3 (kiểm tra bảo mật) → Llama (chạy cục bộ)

✔ Cấu trúc xử lý theo từng bước
✔ Phân tách mô hình dựa trên vai trò


2. Quy trình làm việc song song (Parallelization Workflow)

Triển khai cấu trúc thực thi song song cùng một đầu vào trên nhiều LLM khác nhau và hợp nhất kết quả lại.

Phân tích kỹ thuật → LLaMA
Phân tích thị trường → GPT
Phân tích toàn cầu → Gemini
Báo cáo cuối cùng → GPT

✔ Xử lý song song với CompletableFuture
✔ Xử lý ngoại lệ + Timeout
✔ Cấu trúc thực tế bao gồm cả Logging


3. Quy trình điều hướng (Routing Workflow)

Thực hiện cấu trúc xử lý phân nhánh đến LLM tối ưu nhất tùy theo điều kiện đầu vào.

  1. Kiểm tra bộ nhớ đệm (cache)

  2. Phân loại LLaMA (SIMPLE / COMPLEX / SEARCH)

  3. Lựa chọn mô hình dựa trên bảng định tuyến

  4. Gọi mô hình

  5. Lưu bộ nhớ đệm kết quả

✔ Tối ưu hóa chi phí
✔ Tối ưu hóa hiệu suất


4. Cấu trúc Orchestrator–Workers

Triển khai cấu trúc Orchestrator trung tâm điều khiển GPT, Gemini và Llama dưới dạng các Worker.

GPT → Orchestrator
LLaMA / Gemini → Worker

  1. Lập kế hoạch (GPT)

  2. Thực thi song song

  3. Tổng hợp

✔ Cấu trúc Agent cộng tác
✔ Thực thi song song
✔ Xuất nhật ký theo từng bước


5. Evaluator–Optimizer (Vòng lặp cải thiện chất lượng)

Triển khai cấu trúc lặp lại để đánh giá và cải thiện kết quả tạo ra.

GPT → Tạo bản thảo
Gemini → Đánh giá chất lượng
Cải thiện lặp lại nếu không đạt điểm chuẩn

✔ Cấu trúc cải tiến lặp lại
✔ Hệ thống tối ưu hóa chất lượng tự động



4⃣Chương 3. Hệ thống Multi-Agent được điều phối (Orchestrated Multi-Agent Systems)

Tích hợp tất cả các mẫu trước đó để triển khai hệ thống Multi-Agent hoàn chỉnh.


1. Phân tích chiến lược

Triển khai dịch vụ phân tích dựa trên cải tiến lặp đi lặp lại để tối đa hóa chất lượng chiến lược.

Phân tích chiến lược dựa trên đa mô hình

Architecture Flow
Routing → Phân tích song song → Vòng lặp Evaluator-Optimizer → Chain Orchestrator-Workers → Kết quả cuối cùng

✔ Xử lý song song với CompletableFuture
✔ Theo dõi trạng thái thời gian thực dựa trên Redis
✔ Vòng lặp cải thiện chất lượng lặp đi lặp lại

2. Thực thi chính xác

Chúng tôi triển khai dịch vụ tập trung vào thực thi nhằm hoàn thiện các ý tưởng thành các sản phẩm thực tế (mã nguồn/tài liệu).

Luồng kiến trúc (Architecture Flow)
Tinh chỉnh (Refinement) → Điều phối (Orchestrator) → Công nhân song song (Parallel Workers) → Tổng hợp (Aggregation)

✔ Giám sát trạng thái thời gian thực dựa trên Redis
✔ ThreadPool chuyên dụng
✔ Xử lý ngoại lệ an toàn

3. Phân tích bỏ phiếu (Voting Analysis)

Triển khai dịch vụ phân tích dựa trên sự đồng thuận nhằm loại bỏ định kiến của mô hình và nâng cao độ tin cậy.

Gọi song song GPT, Gemini, LLaMA → GPT đóng vai trò là người phán quyết cuối cùng

Architecture Flow
Gọi song song → Thu thập phản hồi → Thẩm định và Quyết định

✔ Cấu trúc xử lý song song
✔ Phát hành trạng thái Redis Pub/Sub
✔ Kết thúc Executor an toàn



💡Nội dung cốt lõi bạn sẽ học trong khóa học này

✔ Thiết kế chiến lược Multi-LLM
✔ Triển khai Agentic Workflow
✔ Cấu trúc cộng tác dựa trên điều phối (Orchestration)
✔ Ứng phó sự cố + Thiết kế tính ổn định
✔ Hệ thống cải thiện chất lượng dựa trên đánh giá lặp lại

💡Mục tiêu cuối cùng

  • Khóa học này không đơn thuần chỉ là học cách sử dụng LLM.


    Thiết kế chiến lược Multi-LLM → Áp dụng Workflow pattern → Hoàn thiện Multi-Agent Orchestration

    Đây là khóa học giúp bạn xây dựng năng lực thiết kế hệ thống AI có thể áp dụng vào dịch vụ thực tế.

Lưu ý trước khi khóa học bắt đầu

Môi trường thực hành

  • Hệ điều hành và phiên bản (OS): Có thể sử dụng tất cả các hệ điều hành như Windows, macOS, Linux.

  • Công cụ sử dụng: JDK, Intellij(Ultimate or Community), Redis& Docker, Node.js, VSCode

  • Cấu hình PC: PC cấu hình cơ bản có thể kết nối internet

Tài liệu học tập

  • Hình thức tài liệu học tập cung cấp: Cung cấp tài liệu dưới nhiều hình thức khác nhau như dự án môi trường giáo dục, giáo án, v.v.

  • Số lượng và dung lượng: Cung cấp tài liệu học tập cho từng phần

Kiến thức tiên quyết và lưu ý

  • Người có kiến thức cơ bản về HTML, CSS, JavaScript.

  • Người có kinh nghiệm phát triển Java, SpringBoot

  • Nếu bạn đăng câu hỏi lên bảng tin, tôi sẽ cố gắng trả lời ngay lập tức.


  • Bản quyền của bài giảng này thuộc về Công ty Cổ phần Tonesol, nghiêm cấm mọi hành vi phân phối và sao chép trái phép. Tài liệu học tập cũng được bảo hộ bản quyền, nghiêm cấm sử dụng cho các mục đích khác ngoài việc học tập cá nhân.

Mẫu này được cung cấp dựa trên tham khảo từ bài giảng 'Học trí tuệ nhân tạo và tự hành với AWS DeepRacer'.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • ✔ Nhà hoạch định chiến lược Multi-LLM

  • ✔ Nhà thiết kế Agentic Workflow

  • ✔ Nhà phát triển triển khai hệ thống Multi-Agent dựa trên Orchestration

  • ✔ Nhà thiết kế cấu trúc cấp độ Production (Production Level), cân nhắc đến cả việc ứng phó sự cố và cải thiện chất lượng.

Cần biết trước khi bắt đầu?

  • Kiến thức cơ bản về HTML, CSS, JavaScript

  • Người có kinh nghiệm phát triển hệ thống Java, SpringBoot

Xin chào
Đây là tootoo

110

Học viên

12

Đánh giá

3

Trả lời

4.9

Xếp hạng

2

Các khóa học

Xin chào

Tôi là Lee Jin-man (biệt danh tootoo), người chia sẻ kiến thức.

Tôi đã giao lưu với các bạn trong phòng học suốt một thời gian dài.

Giờ đây, tôi sẽ tạo ra những nội dung chất lượng để có thể giao lưu với các bạn trên nền tảng trực tuyến.

jmlee@tonesol.com

Cảm ơn bạn.

Thêm

Chương trình giảng dạy

Tất cả

22 bài giảng ∙ (6giờ 56phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

2 đánh giá

5.0

2 đánh giá

  • bum0107님의 프로필 이미지
    bum0107

    Đánh giá 2

    Đánh giá trung bình 5.0

    5

    55% đã tham gia

    Đây là một khóa học giúp bạn học tập một cách hệ thống về kiến trúc Multi-LLM và thiết kế hệ thống AI dựa trên Agent. Không chỉ đơn thuần là cách sử dụng LLM, tôi rất thích việc được trải nghiệm thực hành các cấu trúc gần với dịch vụ thực tế như Orchestrator, Workflow pattern, và vòng lặp đánh giá chất lượng. Tôi nghĩ đây là một bài giảng rất hữu ích cho các nhà phát triển quan tâm đến kiến trúc AI Backend!!

    • joohsd875347님의 프로필 이미지
      joohsd875347

      Đánh giá 2

      Đánh giá trung bình 5.0

      5

      45% đã tham gia

      Tiếp nối phần 1, bài giảng phần 2 lần này tôi cũng cực kỳ đề xuất cho những người mới bắt đầu tiếp cận khóa học chuyên sâu về Spring AI, cũng như những ai đang cần thiết kế kiến trúc hiệu quả. Trong trường hợp của tôi, nhờ vào các tài liệu học tập chi tiết về kiến trúc Multi-LLM và cấu hình Agentic Workflow được cung cấp, tôi đã có thể nhanh chóng nắm bắt các logic cốt lõi bằng cách thực thi trực tiếp mã nguồn thay vì chỉ dừng lại ở lý thuyết điều phối (orchestration) phức tạp, giúp việc học trở nên vô cùng dễ dàng.

      Khóa học khác của tootoo

      Hãy khám phá các khóa học khác của giảng viên!

      Khóa học tương tự

      Khám phá các khóa học khác trong cùng lĩnh vực!

      Ưu đãi có thời hạn

      13 ₫

      40%

      595.731 ₫