Spring AI Multi-LLM & Orchestrated Multi-Agent 시스템

Spring AI로 구현하는 Multi-LLM & Orchestrated Multi-Agent 시스템

(DAG · Tool · Task · YAML DSL 기반 엔터프라이즈 AI 시스템 설계)

본 과정에서 배우는 시스템으로 아래와 같은 복합 업무·의사결정을 처리 하는 시스템을 구축 하는 것이

본 과정의 목적입니다. 즉 Multi-LLM 기반 Orchestration 중심 Multi Agent 시스템을 구축 하고자 합니다.

본 과정은 Spring AI 기반으로 GPT, Gemini, LLaMA를 전략적으로 조합하여 Multi-LLM 아키텍처와 Orchestrated Multi-Agent 시스템을 실무 수준에서 설계하고 구현하는 과정입니다.

아래 3단계 확장 로드맵으로 구조를 쌓아 갑니다. 각 단계는 앞 단계의 실행·모델·협업 방식을 전제로 합니다.

Appendix 에서는 React·REST API 확장 과 MCP Integration(Model Context Protocol로 Tool·에이전트 런타임 연동)확장을 진행 합니다.

이런 내용을 배워요

1⃣ SpringBoot에서 Spring AI 개발 환경 및 Multi LLM 환경 구축

AI 아키텍처 설계 이전에, 실무 수준의 Spring AI 개발 환경을 완성합니다.

단순 라이브러리 추가가 아닌, 실습 중심 프로젝트 기반으로 수업이 진행됩니다.

✔ 실습 프로젝트에 교안이 함께 포함
✔ 코드와 이론을 동시에 확인
✔ 바로 실행 가능한 구조 제공

학습 내용

1. 개발환경 및 수업 전체 구조 설명

2. 실습 프로젝트 생성 및 교안 세팅

3. OpenAI API Key 발급 및 연동

4. Gemini API Key 발급 및 연동

5. Ollama 환경 셋팅 및 Llama 3.2 셋팅

6. Spring AI 환경 설정 및 기본 구조 이해

7. Redis 연동 설정

   
   

2⃣Chapter 1. Multi-LLM Architecture(다중 모델 과 AI 아키텍처 설계)

단일 모델이 아닌, 전략적 Multi-LLM 구조를 설계합니다.

모델이 늘어날수록 운영·비용·보안 이슈가 커집니다. Multi-LLM Architecture는 장기적으로 교체·확장·감사 가능한 AI 서비스를 만들기 위한 기반이 되면 이후 Orchestrated Multi-Agent System 구축에 핵심 기반 기술이 됩니다.

학습 내용

1. Multi LLM

GPT, Gemini, LLaMA 3개의 LLM을 동시에 사용하는 구조 및 요청 유형과 전략에 따라 적절한 모델을 선택하는 Multi-LLM 기반 서비스 아키텍처를 구현합니다.

2. Multi LLM Stream

Reactive Streams(Project Reactor) 기반 스트리밍 처리

3. Fallback (장애 대응 아키텍처)

엔터프라이즈에서는 정확도만큼 가용성이 중요합니다. 주 모델·보조 모델, 장애·타임아웃 시 전환, 재시도 정책을 묶어 단일 모델 장애가 서비스 전체를 멈추지 않게 합니다.(Resilience4j CircuitBreaker 적용)

4. Router (모델 전략 분류)

요청을 이해한 뒤 요청 유형·비용·정확도·복잡도·지연 등 기준으로 적절한 모델로 보내는 의사결정 계층입니다. 단순 분기문이 아니라 서비스 정책이 드러나는 층입니다.

5. Security (민감정보 보호 아키텍처)

입력 분석·민감 정보 판단 후 내부(온프레미스 등) 모델과 외부 API 모델 중 어디로 보낼지 정합니다. 데이터 주권·규제 요구에 맞춘 보안 중심 라우팅입니다.

3⃣Chapter 2. Agentic Workflow Patterns(5가지 Agent Workflow 패턴)

LLM 호출을 상태·분기·동시성·피드백 루프가 있는 오케스트레이션으로 묶는 패턴을 다룹니다.

Spring AI 문서의 Effective Agents가 제시하는 워크플로 유형과 Anthropic 엔지니어링 글 Building Effective Agents가 강조하는 단순한 추상화·명시적 구성(composability)을 기반으로 5가지의 Patter으로 나누어서 설명 합니다.

학습 내용

1. Chain Workflow

• 작업을 순차적으로 연결하여 이전 단계의 결과를 다음 단계의 입력으로 전달하는 구조

• 사용 이유: 단계적 사고 및 절차적 실행 보장

2. Parallelization Workflow

• 동일 입력을 여러 LLM에 병렬로 실행하고 결과를 병합하는 구조

• 사용 이유: 모델 간 전문성 동시 활

3. Routing Workflow

• 입력 조건에 따라 최적의 LLM으로 분기 처리하는 구조

• 사용 이유: 요청 난이도·유형별 최적 모델 선택

4. Orchestrator-Workers

• 중앙 Orchestrator가 Multi LLM을 각 역할 별 실행 후 최종결합 하는 구조

• 사용 이유: 역할 기반 책임 분리 구조 구현

5. Evaluator-Optimizer

• 생성 결과를 평가하고 개선하는 반복 구조

• 사용 이유: 반복 개선을 통한 품질 안정화

4⃣Chapter 3. Orchestrated Multi-Agent Patterns(파이프라인 구현)

Multi-Agent 구조를 실제 서비스 파이프라인으로 구현하기

5가지 Pattern을 복합적으로 이용하여 Orchestrated Multi-Agent Pattern을 구체화 합니다.
단계별 상태 전이·예외 격리·재시도까지 포함한 엔드투엔드 흐름을 다루며 목표는 단순 응답 생성이 아니라, 다양한 현장의 운영 환경에서 요구되는 확장성(추가 단계)·품질 안정성(평가·개선)·신뢰성(합의·교차 검증)을 고려한 시스템 설계를 하는 것입니다.

학습 내용

1. Strategic Analysis Pattern

• 전략 품질을 극대화하기 위한 반복 개선 기반 분석 서비스를 구현합니다.

  
  

2. Precision Execution Pattern

• 아이디어를 실제 실행 산출물(코드/문서)로 완성하는 실행 중심 서비스를 구현합니다.

  
  

3. Voting Analysis Pattern

• 모델 편향 제거 및 신뢰도 향상을 위한 합의 기반 분석 서비스를 구현합니다.

  
  

4. Auto Pattern Routing

• 질문을 분석해 Strategic / Precision / Voting 중 적합한 파이프라인으로 자동 위임합니다.

  
  

  
  

5⃣ Chapter 4. Multi-Agent Architecture (Main Agent & SubAgent 분리 전략

Main(Main agent, Orchestrator agent) 하나 + 여러 개의 역할 전용 SubAgent 구조

Main (Main agent, Orchestrator agent)이 맡는 제어 계층과 Sub (Sub agent, Tool agent 등)가 맡는 역할 전용 실행 계층(Sub agent)을 나눈 Multi-Agent 구조를 다룹니다

6⃣ Chapter 5. Tool-Orchestrated Multi-Agent(Tool 기반 실행 레이어 분리)

Tool을 이용한 실행 레이어 분리 아키텍처

RAG나 데이터베이스 연동이 필요하다면, 해당 Tool 안에서 외부 API·DB·Vector Store를 호출한 뒤 그 결과를 SubAgent에 넘기는 식으로 “Agent + Tool + SubAgent + 외부 데이터”를 한 층으로 묶을 수 있습니다.

7⃣ Chapter 6. Task-Orchestrated Multi-Agent(TaskTool Agent Runtime)

TaskTool 기반 Agent Runtime 설계

“Agent Runtime(TaskTool) + Markdown 서브에이전트 + TodoWrite” 구현

8⃣ Chapter 7. DAG-Orchestrated Multi-Agent(DAG기반 AI Workflow 설계)

엔터프라이즈급 DAG 기반 AI Workflow 설계

DAG(Directed Acyclic Graph, 방향 비순환 그래프) 엔진을 구축 하여 그래프를 읽어 실행 가능한 노드를 스케줄링하는 형태로 바꿉니다.

9⃣ Chapter 8. Declarative Agent Workflow with YAML(YAML 기반 DAG)
YAML 기반 DAG 정의와 실행 엔진 분리

DAG 엔진 위에 선언적 YAML로 적힌 워크플로 DSL 정의로 바꿔 복잡한 Agent Workflow를 더 안전하고 유연하게 운용할 수 있습니다. 또한 하나의 DAG 엔진에 DSL을 이용하여 워크플로 구조 변경에 유연하고 런타임 재구성도 용이하게 합니다.

🔟 Chapter 9. Validated Agent Workflow DSL(DSL 검증 기반 DAG)

스키마·의존성 검증으로 신뢰하는 YAML 워크플로 DSL

DSL 문을 DAG 엔진의 스케줄링에 넣기 전에 오타·잘못된 내용이나 사이클·필수 필드 누락 같은 선언 오류를 걸러 내는 로딩 파이프라인의 검증층을 추가 합니다.

🅰️Appendix A. React Front-End & REST API Server Integration

Thymeleaf 실습을 React·REST API Server로 변환 합니다.

🅱️ Appendix B. MCP Integration(MCP로 Tool·에이전트 런타임 연동)
MCP Client가 MCP Server의 에이전트/오케스트레이터에 어떻게 연결 하는지를 공부 합니다.

수강 전 참고 사항