Spring AI Multi-LLM & Orchestrated Multi-Agent ์์คํ
๋ณธ ๊ณผ์ ์ Spring AIยทSpring Boot๋ฅผ ๊ธฐ๋ฐ์ผ๋ก GPT, Gemini, LLaMA(๋ก์ปฌ) ๋ฅผ ์ ๋ต์ ์ผ๋ก ์กฐํฉํด Multi-LLM ์ํคํ ์ฒ์ ์ค์ผ์คํธ๋ ์ด์ ์ค์ฌ Agent ์์คํ (Main/Sub, Tool, Task Runtime, Agent Registry) ์ ์ค๊ณยท๊ตฌํํ๋ ๊ณ ๊ธ ๊ณผ์ ์ ๋๋ค. ๋จ์ผ LLM ํธ์ถ์ ๋์ด Agentic Workflow Pattern(Chain, Parallel, Routing, OrchestratorโWorkers, EvaluatorโOptimizer) ๊ณผ Multi-Agent ๊ตฌ์กฐ๋ฅผ ์ ์ฉํ๊ณ , ToolยทToolRegistry๋ก RAGยท์ธ๋ถ API/DB ๋ฑ ์คํ ๋ ์ด์ด๋ฅผ ๋ถ๋ฆฌํ๋ฉฐ, DAG ์์งยทYAML ์ ์ธ์ ์ํฌํ๋กยท๋ก๋ฉ ์งํ ๊ฒ์ฆ(Validated DSL) ์ผ๋ก ํ์ฅ ๊ฐ๋ฅํ๊ณ ์์ ์ ์ด๋ฉฐ, ํ์ง์ด ์ง์ ๊ฐ์ ๋๋ AI ์์คํ ์ ๊ตฌํํ๋ ํ๋ฆ์ ๋ค๋ฃน๋๋ค. ๋ํ Circuit Breaker, Reactive Stream, Redis ๋ชจ๋ํฐ๋ง, ๋ณ๋ ฌ ์ฒ๋ฆฌ, ๋ฐ๋ณต ํ๊ฐ ๋ฃจํ๊น์ง ํฌํจํ๋ฉฐ, Thymeleaf(SSR) ์ค์ต์ ReactยทREST๋ก ํ๋ก ํธ/๋ฐฑ์ ๋๋๊ณ MCP๋ก ํดยท์์ด์ ํธ ๋ฐํ์์ ํ์ค ํ๋กํ ์ฝ๋ก ์ฐ๋ํ๋ ํ์ฅ์ ๋ํด ์ค์ ์ด์ ํ๊ฒฝ ์์ค์ AI ์ํคํ ์ฒ ์ค๊ณ ์ญ๋์ ๊ฐ์ถ๋๋ก ํฉ๋๋ค. ์ต์ข ๋ชฉํ๋ ๋จ์ผ API ์ฐ๋ยทํ๋กฌํํธ ์์ค์ ๋จธ๋ฌด๋ ๋จ์ํ AI ์ด์ฉ์๊ฐ ์๋๋ผ, Multi-LLMยท์์ด์ ํธยท์ํฌํ๋กยท์ ์ธยท๊ฒ์ฆ์ ํ๋์ ์คํ ์ํคํ ์ฒ๋ก ์ค๋ช ยท์ ์ถฉํ ์ ์๋, AI ์์คํ ์ ์ค๊ณํ ์ ์๋ ๊ฐ๋ฐ์๋ก ์ฑ์ฅํ๋ ๊ฒ์ ๋๋ค.
์๊ฐ์ 78๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ
์๋ ํ์ญ๋๊น ์ด์ง๋ง ์ ๋๋ค.
Spring AI Multi-LLM ์ํคํ ์ฒ์
Orchestration ์ค์ฌ Multi Agent ์์คํ
๊ณผ์ ์ ๋ํ ์ ๊ทธ๋ ์ด๋ ์์ ์ ํด ๋๋ฆฝ๋๋ค.
๋ง์ ๊ด์ฌ ๋ถํ ํฉ๋๋ค.
์ด๋ฒ์ Spring AI๋ฅผ ๊ธฐ๋ฐ์ผ๋ก GPT, Gemini, LLaMA(๋ก์ปฌ) ๋ฅผ ์ ๋ต์ ์ผ๋ก ์กฐํฉํ๋ Multi-LLM ์ํคํ ์ฒ์, Main/SubยทToolยทTask๋ก ์ด์ด์ง๋ Orchestrated Multi-Agent ์์คํ ์ ์ค๊ณยท๊ตฌํํ๋ ๊ณ ๊ธ ๊ณผ์ ์ ์๋ด๋๋ฆฝ๋๋ค.
์ด ๊ณผ์ ์์ ๋ค๋ฃจ๋ ํต์ฌ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
๋จ์ผ LLM ํธ์ถ์ด ์๋๋ผ Agentic Workflow(Chain, Parallel, Routing, OrchestratorโWorkers, EvaluatorโOptimizer)๋ก ํ์ฅยท์์ ยท์ง์ ํ์ง ๊ฐ์
Multi-LLM ๋ผ์ฐํ ยทFallbackยท๋ณด์ ๋ถ๊ธฐ๋ก ์ด์ยท๊ท์ ๋ฅผ ์ ์ ์ ๋ ๋ชจ๋ธ ์ ํยท์ ํ
๋ฉํฐ ์์ด์ ํธ ์ค์ผ์คํธ๋ ์ด์ โ Agent Registry, Tool/RAG ์คํ ๋ถ๋ฆฌ, Task Runtime๊ณผ HTTPยทSSEยทRedis๋ก ์งํยท์ํ๊น์ง ์ฎ๊ธฐ
DAG ์ํฌํ๋ก ์์ง๊ณผ YAML ์ ์ธ์ DSL, ๋ก๋ฉ ์งํ ๊ฒ์ฆ(Validated DSL) ์ผ๋ก ๊ทธ๋ํ ์คํ๊ณผ ์ ๋ขฐ๋ฅผ ํ ํ๋ฆ์ผ๋ก
์ ํ ํ์ฅ: ReactยทREST, MCP๋ก UI/API ๋ถ๋ฆฌยทํ์ค ํด ์ฐ๋
Circuit Breaker, Reactive Stream, Redis ๋ชจ๋ํฐ๋ง, ๋ณ๋ ฌ, ๋ฐ๋ณต ํ๊ฐ ๋ฑ Production์ ๊ฐ๊น์ด ์ค๊ณ ๊ด์
์ด๋ฐ ๋ถ๊ป ์ถ์ฒ๋๋ฆฝ๋๋ค.
API๋ง ๋ถ์ฌ ๋ณธ ์์ค์ ๋์ด, ์์ด์ ํธยท์ํฌํ๋กยท์ด์๊น์ง ์ค๊ณํ๊ณ ์ถ์ ๋ฐฑ์๋ยทํ์คํ ๊ฐ๋ฐ์
๋ณตํฉ ์ง์ยท์๋ํ ํ์ดํ๋ผ์ธ์ ๊ตฌ์กฐํํด ํ์ ์ค๋ช ํด์ผ ํ๋ ์ํคํ ์ฒยท๋ฆฌ๋ ์ญํ ์ ์ค๋นํ๋ ๋ถ
์๊ฐ ํ์๋ โํ๋กฌํํธ ํ ๋ฐฉโ์ด ์๋๋ผ Multi-LLMยท์ค์ผ์คํธ๋ ์ด์ ยทToolยทTaskยทDAGยท์ ์ธยท๊ฒ์ฆ์ ํ๋์ ์คํ ์ํคํ ์ฒ๋ก ๋งํ๊ณ ๋ฌธ์ํํ ์ ์๋ AI ์์คํ ์ค๊ณ ๊ด์ ์ ํ์คํ ๊ฐ์ ธ๊ฐ์ค ์ ์๋๋ก ๊ตฌ์ฑํ์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค.
๋ณธ ๊ณผ์ ์์ ๋ฐฐ์ฐ๋ ์์คํ ์ผ๋ก ์๋์ ๊ฐ์ ๋ณตํฉ ์ ๋ฌดยท์์ฌ๊ฒฐ์ ์ ์ฒ๋ฆฌ ํ๋ ์์คํ ์ ๊ตฌ์ถ ํ๋ ๊ฒ์ด
๋ณธ ๊ณผ์ ์ ๋ชฉ์ ์ ๋๋ค.

๋ณธ๊ณผ์ ์ ์ปค๋ฆฌํ๋ผ์ ์๋์ ๊ฐ์ต๋๋ค.
1โฃ SpringBoot์์ Spring AI ๊ฐ๋ฐ ํ๊ฒฝ ๋ฐ Multi LLM ํ๊ฒฝ ๊ตฌ์ถ
2โฃChapter 1. Multi-LLM Architecture(๋ค์ค ๋ชจ๋ธ ๊ณผ AI ์ํคํ ์ฒ ์ค๊ณ)
3โฃChapter 2. Agentic Workflow Patterns(5๊ฐ์ง Agent Workflow ํจํด)
4โฃChapter 3. Orchestrated Multi-Agent Patterns(ํ์ดํ๋ผ์ธ์ผ๋ก ๊ตฌํ)
5โฃChapter 4. Multi-Agent Architecture (Main Agent & SubAgent ๋ถ๋ฆฌ ์ ๋ต)
6โฃChapter 5. Tool-Orchestrated Multi-Agent(Tool ๊ธฐ๋ฐ ์คํ ๋ ์ด์ด ๋ถ๋ฆฌ)
7โฃChapter 6. Task-Orchestrated Multi-Agent(TaskTool Agent Runtime)
8โฃChapter 7. DAG-Orchestrated Multi-Agent(DAG๊ธฐ๋ฐ AI Workflow ์ค๊ณ)
9โฃChapter 8. Declarative Agent Workflow with YAML(YAML ๊ธฐ๋ฐ DAG)
๐Chapter 9. Validated Agent Workflow DSL(DSL ๊ฒ์ฆ ๊ธฐ๋ฐ DAG)
๐ ฐAppendix A. React Front-End & REST API Server Integration
๐ ฑ Appendix B. MCP Integration(MCP๋ก Toolยท์์ด์ ํธ ๋ฐํ์ ์ฐ๋)
๋ณธ๊ณผ์ ์ ์์คํ ๊ตฌ์ฑ์ ์๋์ ๊ฐ์ต๋๋ค.

์๋ ํ์ญ๋๊น ์ง์ ๊ณต์ ์ ์ด์ง๋ง(tootoo) ์ ๋๋ค.
Spring AI Multi-LLM ์ํคํ ์ฒ์ Orchestration ์ค์ฌ Agent ์์คํ
๊ณผ์ ์ ๋ํ ์ ๊ทธ๋ ์ด๋ ์์ ์ ํด ๋๋ฆฝ๋๋ค.
4์ ์ค์ ๊ฒฝ ์ ๊ทธ๋ ์ด๋ ์์ ์ด๋ฉฐ ๋ค์๊ณผ ๊ฐ์ ๊ตฌ์ฑ์ผ๋ก ์คํ ์์ ์ ๋๋ค.
ํ์ฌ ๊ตฌ๋งค ํ์ ๋ถ๋ค์ Chapter3๊น์ง ๋ณด์๊ณ ์ดํ Chapter 4๋ถํฐ ๋ณด์๋ฉด ๋ ๊ฑฐ ๊ฐ์ต๋๋ค.
4์ ์ค์๋ถํฐ๋ ๋ณธ ๊ณผ์ ์ ๊ฐ๊ฒฉ์ด ์ํญ ์์น ํ ์์ ์ด๋ ๋ฏธ๋ฆฌ ๊ตฌ๋งค ํ์๋ ๊ฒ๋ ์ข์ ๊ฑฐ ๊ฐ์ต๋๋ค.
๊ฐ์ฌํฉ๋๋ค.
์ ์ฒด์ ์ธ ๊ต์ ๋ถ๋ถ์ด ์์ ๋์์ผ๋ฉฐ Chapter1 ~ Chapter 3 ๊น์ง๋ Pattern ์ ์ฃผ๋ก ๊ณต๋ถ ํ๋ค๋ฉด
Chapter4 ~ Chapter 8 ๊น์ง๋ ์ค๋ฌด ์ค์ฌ์ Multi-Agent ๋ฅผ ๋ง๋๋ ๊ณผ์ ์ผ๋ก ๊ตฌ์ฑ ํ์์ต๋๋ค.
Chapter 1. Multi-LLM Architecture(๋ค์ค ๋ชจ๋ธ ์ ๋ต๊ณผ ์ํฐํ๋ผ์ด์ฆ AI ์ํคํ ์ฒ ์ค๊ณ)
Chapter 2. Agentic Workflow Patterns(์ค๋ฌด์์ ์ฌ์ฉํ๋ 5๊ฐ์ง Agent Workflow ํจํด)
Chapter 3. Orchestrated Multi-Agent Patterns(Multi-Agent ๊ตฌ์กฐ๋ฅผ ์ค์ ์๋น์ค ํ์ดํ๋ผ์ธ์ผ๋ก ๊ตฌํํ๊ธฐ)
Chapter 4. Multi-Agent Architecture (SubAgent ๋ถ๋ฆฌ ์ ๋ต๊ณผ Agent Registry ๋ด๋ถ ๊ตฌ์กฐ)
Chapter 5. Tool-Orchestrated Multi-Agent(Tool์ ์ด์ฉํ ์คํ ๋ ์ด์ด ๋ถ๋ฆฌ ์ํคํ ์ฒ)
Chapter 6. Task-Orchestrated Multi-Agent(TaskTool ๊ธฐ๋ฐ Agent Runtime ์ค๊ณ)
Chapter 7. DAG-Orchestrated Multi-Agent(์ํฐํ๋ผ์ด์ฆ๊ธ DAG ๊ธฐ๋ฐ AI Workflow ์ค๊ณ)
Chapter 8. Declarative Agent Workflow with YAML(YAML ๊ธฐ๋ฐ DAG ์ ์์ ์คํ ์์ง ๋ถ๋ฆฌ)
์๋ ํ์ญ๋๊น ์ง์ ๊ณต์ ์ ์ด์ง๋ง ์ ๋๋ค.
Spring AI - Part2๋ฅผ ์คํ ํ์ต๋๋ค.
Spring AI -Part1์์๋ ์ฃผ๋ก LLM ์ฐ๋๊ณผ ๋๋ถ์ด RAG, Multimodality API, Tool / Function Calling ๋ฐ MCP(Model Context Protocol) ํ์ฉ์ ๋ํด์ ์งํ ํ์ต๋๋ค.
Spring AI - Part2์์๋ ์ฃผ๋ก Multi-LLM ๊ธฐ๋ฐ AI ์ํคํ ์ฒ ์ค๊ณ, Agentic Workflow ํจํด, Orchestrated Multi-Agent ์์คํ ๊ตฌํ์ด ์ฃผ์ ๋ด์ฉ์ ๋๋ค.
Spring AI Multi-LLM ์ํคํ ์ฒ์ Orchestration ์ค์ฌ Agent ์์คํ
๋ง์ ๊ด์ฌ ๋ถํ ๋๋ฆฝ๋๋ค.
๊ฐ์ฌํฉ๋๋ค.






