Spring AI Multi-LLM & Orchestrated Multi-Agent システム

Spring AIで実装する Multi-LLM & Orchestrated Multi-Agent システム

(DAG · Tool · Task · YAML DSL ベースのエンタープライズ AI システム設計)

本コースで学ぶシステムを通じて、次のような複合的な業務・意思決定を処理するシステムを構築することが

本コースの目的です。すなわち、Multi-LLMベースのOrchestration中心のMulti Agentシステムを構築することを目指します。

本コースは、Spring AIを基盤にGPT、Gemini、LLaMAを戦略的に組み合わせ、Multi-LLMアーキテクチャとOrchestrated Multi-Agentシステムを実務レベルで設計・実装する過程です。

以下の3段階の拡張ロードマップで構造を構築していきます。各段階は、前の段階の実行・モデル・協業方式を前提としています。

Appendixでは、React・REST API拡張とMCP Integration（Model Context ProtocolによるTool・エージェントランタイム連動）拡張を進行します。

このような内容を学びます

1⃣ Spring BootでのSpring AI開発環境およびマルチLLM環境の構築

AIアーキテクチャ設計の前に、実務レベルのSpring AI開発環境を完成させます。

単なるライブラリの追加ではなく、実習中心のプロジェクトベースで授業が進行します。

✔ 実習プロジェクトに教本を同梱
✔ コードと理論を同時に確認
✔ すぐに実行可能な構造を提供

学習内容

1. 開発環境および授業の全体構造の説明

2. 実習プロジェクトの生成および教案の設定

3. OpenAI API Key 発行および連携

4. Gemini API Key 発行および連携

5. Ollama 環境設定および Llama 3.2 設定

6. Spring AI 環境設定および基本構造の理解

7. Redis連携設定

   
   

2⃣Chapter 1. Multi-LLM Architecture(マルチモデルとAIアーキテクチャ設計)

単一モデルではなく、戦略的なMulti-LLM構造を設計します。

モデルが増えるほど、運用・コスト・セキュリティの問題が大きくなります。Multi-LLM Architectureは、長期的に交換・拡張・監査が可能な AIサービスを作るための基盤となり、その後の Orchestrated Multi-Agent System 構築における核心的な基盤技術となります。

学習内容

1. Multi LLM

GPT、Gemini、LLaMAの3つのLLMを同時に使用する構造、およびリクエストのタイプや戦略に応じて適切なモデルを選択するMulti-LLMベースのサービスアーキテクチャを実装します。

2. Multi LLM Stream

Reactive Streams (Project Reactor) ベースのストリーミング処理

3. Fallback (障害対応アーキテクチャ)

エンタープライズでは正確さと同じくらい可用性が重要です。メインモデル・サブモデル、障害・タイムアウト時の切り替え、リトライポリシーを組み合わせ、単一モデルの障害がサービス全体を停止させないようにします。(Resilience4j CircuitBreakerを適用)

4. Router (モデル戦略分類)

リクエストを理解した後、リクエストのタイプ・コスト・正確性・複雑さ・遅延などの基準で適切なモデルへと送る意思決定レイヤーです。単なる分岐文ではなく、サービスポリシーが反映される層です。

5. Security (機密情報保護アーキテクチャ)

入力分析・機密情報の判断後、内部（オンプレミスなど）モデルと外部APIモデルのどちらに送信するかを決定します。データ主権・規制要件に合わせたセキュリティ中心のルーティングです。

3⃣Chapter 2. Agentic Workflow Patterns(5つのエージェントワークフローパターン)

LLM呼び出しを状態・分岐・並行性・フィードバックループのあるオーケストレーションでまとめるパターンを扱います。

Spring AIドキュメントのEffective Agentsが提示するワークフロータイプと、Anthropicのエンジニアリング記事Building Effective Agentsが強調するシンプルな抽象化・明示的な構成（composability）に基づき、5つのパターンに分けて説明します。

学習内容

1. Chain Workflow

• タスクを順次連結し、前の段階の結果を次の段階の入力として渡す構造

• 使用理由：段階的な思考および手続き的な実行の保証

2. Parallelization Workflow

• 同一の入力を複数のLLMに並列で実行し、結果をマージする構造

• 使用理由：モデル間の専門性を同時に活用

3. Routing Workflow

• 入力条件に応じて最適なLLMへ分岐処理する構造

• 使用理由：リクエストの難易度・タイプ別に最適なモデルを選択

4. Orchestrator-Workers

• 中央のOrchestratorがMulti LLMを各役割別に実行した後、最終的に結合する構造

• 使用理由：役割ベースの責任分離構造の実装

5. Evaluator-Optimizer

• 生成結果を評価し改善する反復構造

• 使用理由：反復的な改善による品質の安定化

4⃣Chapter 3. Orchestrated Multi-Agent Patterns(パイプラインの実装)

Multi-Agent構造を実際のサービスパイプラインとして実装する

5つのパターンを複合的に利用してOrchestrated Multi-Agent Patternを具体化します。
段階別の状態遷移・例外隔離・リトライまで含めたエンドツーエンドの流れを扱い、目標は単なる応答生成ではなく、多様な現場の運用環境で要求される拡張性（追加段階）・品質安定性（評価・改善）・信頼性（合意・クロス検証）を考慮したシステム設計を行うことです。

学習内容

1. Strategic Analysis Pattern

• 戦略品質を極大化するための、反復改善に基づいた分析サービスを実装します。

  
  

2. Precision Execution Pattern

• アイデアを実際の実行成果物（コード/文書）として完成させる、実行中心のサービスを実装します。

  
  

3. Voting Analysis Pattern

• モデルのバイアス除去および信頼性向上のための、合意ベースの分析サービスを実装します。

  
  

4. Auto Pattern Routing

• 質問を分析し、Strategic / Precision / Votingの中から適切なパイプラインへ自動的に委任します。

  
  

  
  

5⃣ Chapter 4. Multi-Agent Architecture (Main Agent & SubAgent 分離戦略)

Main(Main agent, Orchestrator agent) 1つ + 複数の役割専用SubAgent構造

Main (Main agent, Orchestrator agent)が担う制御レイヤーと、Sub (Sub agent, Tool agentなど)が担う役割専用の実行レイヤー(Sub agent)を 分けたMulti-Agent構造を扱います

6⃣ Chapter 5. Tool-Orchestrated Multi-Agent(Toolベースの実行レイヤー分離)

Toolを利用した実行レイヤー分離アーキテクチャ

RAGやデータベース連携が必要な場合は、該当するツール内で外部API・DB・Vector Storeを呼び出した後、その結果をSubAgentに渡す形で「Agent + Tool + SubAgent + 外部データ」を一つのレイヤーとしてまとめることができます。

7⃣ Chapter 6. Task-Orchestrated Multi-Agent(TaskTool Agent Runtime)

TaskToolベースのAgent Runtime設計

「Agent Runtime(TaskTool) + Markdown サブエージェント + TodoWrite」の実装

8⃣ Chapter 7. DAG-Orchestrated Multi-Agent(DAGベースのAI Workflow設計)

エンタープライズ級のDAGベースAIワークフロー設計

DAG(Directed Acyclic Graph, 有向非巡回グラフ)エンジンを構築して、グラフを読み取り実行可能なノードをスケジューリングする形に変更します。

9⃣ Chapter 8. Declarative Agent Workflow with YAML(YAMLベースのDAG)
YAMLベースのDAG定義と実行エンジンの分離

DAGエンジンの上に宣言的なYAMLで記述されたワークフローDSL定義に置き換えることで、複雑なAgent Workflowをより安全かつ柔軟に運用できます。また、一つのDAGエンジンにDSLを利用してワークフロー構造の変更に柔軟に対応し、ランタイムの再構成も容易にします。

🔟 Chapter 9. Validated Agent Workflow DSL(DSL検証ベースのDAG)

スキーマ・依存関係の検証で信頼できるYAMLワークフローDSL

DSL文をDAGエンジンのスケジューリングに投入する前に、タイポ・誤った内容やサイクル・必須フィールドの欠落といった宣言エラーをフィルタリングするローディングパイプラインの検証層を追加します。

🅰️Appendix A. React Front-End & REST API Server Integration

Thymeleafの実習をReact・REST APIサーバーに変換します。

🅱️ Appendix B. MCP Integration(MCPでTool・エージェントランタイムを連動)
MCP ClientがMCP Serverのエージェント/オーケストレーターにどのように接続するかを学びます。

受講前のご注意事項