Hệ thống Spring AI Multi-LLM & Orchestrated Multi-Agent

Hệ thống Multi-LLM & Orchestrated Multi-Agent triển khai bằng Spring AI

(Thiết kế hệ thống AI doanh nghiệp dựa trên DAG · Tool · Task · YAML DSL)

Hệ thống được học trong khóa học này là việc xây dựng một hệ thống xử lý các nghiệp vụ và ra quyết định phức tạp như dưới đây

là mục tiêu của khóa học này. Nói cách khác, chúng ta sẽ xây dựng hệ thống Multi Agent tập trung vào điều phối (Orchestration) dựa trên Multi-LLM.

Khóa học này dựa trên Spring AI, kết hợp chiến lược GPT, Gemini và LLaMA để thiết kế và triển khai kiến trúc Multi-LLM cùng hệ thống Orchestrated Multi-Agent ở cấp độ thực tiễn.

Cấu trúc được xây dựng theo lộ trình mở rộng 3 bước dưới đây. Mỗi bước được thực hiện dựa trên phương thức thực thi, mô hình và sự cộng tác của bước trước đó.

Trong phần Phụ lục, chúng tôi sẽ tiến hành mở rộng React·REST API và mở rộng MCP Integration (liên kết Tool·Agent Runtime bằng Model Context Protocol).

Bạn sẽ học được những nội dung này

1⃣ Thiết lập môi trường phát triển Spring AI và môi trường Multi LLM trong SpringBoot

Trước khi thiết kế kiến trúc AI, chúng ta sẽ hoàn thiện môi trường phát triển Spring AI ở cấp độ thực tế.

Khóa học không chỉ dừng lại ở việc thêm thư viện đơn thuần mà được tiến hành dựa trên các dự án thực hành thực tế.

✔ Giáo trình được bao gồm sẵn trong dự án thực hành
✔ Kiểm tra đồng thời cả mã nguồn và lý thuyết
✔ Cung cấp cấu trúc có thể thực thi ngay lập tức

Nội dung học tập

1. Giải thích môi trường phát triển và cấu trúc tổng thể của lớp học

2. Tạo dự án thực hành và thiết lập giáo án

3. Cấp và liên kết OpenAI API Key

4. Cấp và liên kết Gemini API Key

5. Cài đặt môi trường Ollama và cài đặt Llama 3.2

6. Thiết lập môi trường Spring AI và hiểu cấu trúc cơ bản

7. Thiết lập liên kết Redis

   
   

2⃣Chương 1. Multi-LLM Architecture (Thiết kế đa mô hình và kiến trúc AI)

Thiết kế cấu trúc Multi-LLM mang tính chiến lược thay vì chỉ sử dụng một mô hình đơn lẻ.

Khi số lượng mô hình tăng lên, các vấn đề về vận hành, chi phí và bảo mật cũng tăng theo. Kiến trúc Multi-LLM sẽ trở thành nền tảng để tạo ra các dịch vụ AI có thể thay thế, mở rộng và kiểm chứng về lâu dài, đồng thời là công nghệ cốt lõi để xây dựng hệ thống Orchestrated Multi-Agent System sau này.

Nội dung học tập

1. Multi LLM

Thực hiện kiến trúc dịch vụ dựa trên Multi-LLM để triển khai cấu trúc sử dụng đồng thời ba loại LLM là GPT, Gemini, LLaMA và lựa chọn mô hình phù hợp tùy theo loại yêu cầu và chiến lược.

2. Luồng đa mô hình ngôn ngữ lớn (Multi LLM Stream)

Xử lý luồng dữ liệu (streaming) dựa trên Reactive Streams (Project Reactor)

3. Fallback (Kiến trúc ứng phó sự cố)

Trong doanh nghiệp, tính khả dụng cũng quan trọng như độ chính xác. Bằng cách kết hợp mô hình chính và mô hình phụ, chuyển đổi khi có lỗi hoặc quá thời gian (timeout), và chính sách thử lại (retry), chúng ta đảm bảo rằng lỗi của một mô hình đơn lẻ không làm dừng toàn bộ dịch vụ. (Áp dụng Resilience4j CircuitBreaker)

4. Router (Phân loại chiến lược mô hình)

Sau khi hiểu yêu cầu, đây là tầng ra quyết định gửi đến mô hình phù hợp dựa trên các tiêu chí như loại yêu cầu, chi phí, độ chính xác, độ phức tạp, độ trễ. Đây không chỉ là các câu lệnh rẽ nhánh đơn thuần mà là tầng thể hiện chính sách dịch vụ.

5. Security (Kiến trúc bảo vệ thông tin nhạy cảm)

Sau khi phân tích đầu vào và đánh giá thông tin nhạy cảm, hệ thống sẽ quyết định gửi dữ liệu đến mô hình nội bộ (On-premise, v.v.) hay mô hình API bên ngoài. Đây là quy trình định tuyến tập trung vào bảo mật nhằm đáp ứng các yêu cầu về quy định và chủ quyền dữ liệu.

3⃣Chương 2. Agentic Workflow Patterns (5 mô hình Agent Workflow)

Nội dung này đề cập đến các mô hình kết hợp các lệnh gọi LLM thành một sự điều phối có trạng thái, phân nhánh, đồng thời và vòng lặp phản hồi.

Dựa trên các loại quy trình công việc được trình bày trong Effective Agents của tài liệu Spring AI và sự nhấn mạnh vào Building Effective Agents từ bài viết kỹ thuật của Anthropic về tính trừu tượng đơn giản và cấu trúc rõ ràng (composability), nội dung sẽ được giải thích bằng cách chia thành 5 mẫu (pattern).

Nội dung học tập

1. Chain Workflow

• Cấu trúc kết nối các tác vụ theo trình tự, chuyển kết quả của bước trước đó làm đầu vào cho bước tiếp theo

• Lý do sử dụng: Đảm bảo tư duy từng bước và thực hiện theo quy trình

2. Parallelization Workflow

• Cấu trúc thực thi song song cùng một đầu vào trên nhiều LLM khác nhau và hợp nhất kết quả lại với nhau

• Lý do sử dụng: Đồng thời tận dụng chuyên môn giữa các mô hình

3. Routing Workflow

• Cấu trúc xử lý phân nhánh đến LLM tối ưu tùy theo điều kiện đầu vào

• Lý do sử dụng: Lựa chọn mô hình tối ưu theo độ khó và loại yêu cầu

4. Orchestrator-Workers

• Cấu trúc trong đó Orchestrator trung tâm thực thi Multi LLM theo từng vai trò và sau đó kết hợp kết quả cuối cùng.

• Lý do sử dụng: Triển khai cấu trúc phân tách trách nhiệm dựa trên vai trò

5. Evaluator-Optimizer

• Cấu trúc lặp lại để đánh giá và cải thiện kết quả tạo ra

• Lý do sử dụng: Ổn định chất lượng thông qua cải tiến lặp đi lặp lại

4⃣Chương 3. Orchestrated Multi-Agent Patterns (Triển khai pipeline)

Triển khai cấu trúc Multi-Agent thành đường ống dịch vụ thực tế

Bằng cách kết hợp 5 mẫu (pattern) khác nhau, chúng tôi sẽ cụ thể hóa Orchestrated Multi-Agent Pattern.
Nội dung bao gồm luồng end-to-end bao gồm chuyển đổi trạng thái từng bước, cô lập ngoại lệ và thử lại (retry), với mục tiêu không chỉ là tạo phản hồi đơn thuần mà còn là thiết kế hệ thống cân nhắc đến tính mở rộng (thêm các bước), tính ổn định chất lượng (đánh giá/cải thiện) và tính tin cậy (đồng thuận/kiểm chứng chéo) vốn được yêu cầu trong nhiều môi trường vận hành thực tế.

Nội dung học tập

1. Mô hình Phân tích Chiến lược

• Triển khai dịch vụ phân tích dựa trên cải tiến lặp đi lặp lại để tối đa hóa chất lượng chiến lược.

  
  

2. Precision Execution Pattern

• Triển khai dịch vụ tập trung vào thực thi để hoàn thiện ý tưởng thành các sản phẩm thực tế (mã nguồn/tài liệu).

  
  

3. Voting Analysis Pattern

• Triển khai dịch vụ phân tích dựa trên sự đồng thuận nhằm loại bỏ định kiến của mô hình và nâng cao độ tin cậy.

  
  

4. Auto Pattern Routing

• Phân tích câu hỏi và tự động ủy quyền cho quy trình phù hợp trong số các quy trình Strategic / Precision / Voting.

  
  

  
  

5⃣ Chương 4. Kiến trúc Multi-Agent (Chiến lược tách biệt Main Agent & SubAgent)

Cấu trúc một Main (Main agent, Orchestrator agent) + nhiều SubAgent chuyên dụng theo vai trò

Chúng tôi sẽ đề cập đến cấu trúc Multi-Agent chia tách giữa tầng điều khiển do Main (Main agent, Orchestrator agent) đảm nhận và tầng thực thi chuyên biệt (Sub agent) do Sub (Sub agent, Tool agent, v.v.) đảm nhận .

6⃣ Chương 5. Tool-Orchestrated Multi-Agent (Phân tách lớp thực thi dựa trên Tool)

Kiến trúc tách biệt lớp thực thi sử dụng Tool

Nếu cần liên kết RAG hoặc cơ sở dữ liệu, bạn có thể gọi API bên ngoài, DB, hoặc Vector Store bên trong Tool đó rồi chuyển kết quả cho SubAgent, từ đó có thể nhóm “Agent + Tool + SubAgent + Dữ liệu bên ngoài” thành một lớp duy nhất.

7⃣ Chương 6. Task-Orchestrated Multi-Agent (TaskTool Agent Runtime)

Thiết kế Agent Runtime dựa trên TaskTool

“Agent Runtime(TaskTool) + Markdown Sub-agent + TodoWrite” thực thi

8⃣ Chương 7. DAG-Orchestrated Multi-Agent (Thiết kế AI Workflow dựa trên DAG)

Thiết kế AI Workflow dựa trên DAG cấp doanh nghiệp

Xây dựng công cụ DAG (Directed Acyclic Graph, đồ thị có hướng không chu kỳ) để chuyển đổi sang hình thức đọc đồ thị và lập lịch cho các nút có thể thực thi.

9⃣ Chương 8. Declarative Agent Workflow with YAML (DAG dựa trên YAML)
Tách biệt định nghĩa DAG dựa trên YAML và công cụ thực thi

Bằng cách thay thế trên công cụ DAG bằng định nghĩa workflow DSL được viết bằng YAML khai báo, bạn có thể vận hành Agent Workflow phức tạp một cách an toàn và linh hoạt hơn. Ngoài ra, việc sử dụng DSL trên một công cụ DAG duy nhất giúp linh hoạt trong việc thay đổi cấu trúc workflow và dễ dàng cấu hình lại trong thời gian chạy.

🔟 Chương 9. Validated Agent Workflow DSL (DAG dựa trên xác thực DSL)

YAML Workflow DSL tin cậy thông qua kiểm chứng Schema và sự phụ thuộc

Trước khi đưa câu lệnh DSL vào lập lịch của công cụ DAG, chúng ta sẽ thêm một lớp kiểm chứng trong pipeline tải để lọc ra các lỗi khai báo như lỗi đánh máy, nội dung sai, vòng lặp hoặc thiếu các trường bắt buộc.

🅰️Appendix A. Tích hợp React Front-End & REST API Server

Chuyển đổi thực hành Thymeleaf sang React·REST API Server.

🅱️ Phụ lục B. Tích hợp MCP (Kết nối Tool·Agent Runtime bằng MCP)
MCP Client học cách kết nối với Agent/Orchestrator của MCP Server.

Lưu ý trước khi khóa học bắt đầu