Spring AI Multi-LLM ์•„ํ‚คํ…์ฒ˜์™€ Orchestration ์ค‘์‹ฌ Agent ์‹œ์Šคํ…œ

๋ณธ ๊ณผ์ •์€ Spring AI ๊ธฐ๋ฐ˜์œผ๋กœ GPT, Gemini, LLaMA๋ฅผ ์ „๋žต์ ์œผ๋กœ ์กฐํ•ฉํ•˜์—ฌ Multi-LLM ์•„ํ‚คํ…์ฒ˜์™€ ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ์ค‘์‹ฌ Agent ์‹œ์Šคํ…œ์„ ์„ค๊ณ„ํ•˜๋Š” ๊ณ ๊ธ‰ ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ๋‹จ์ผ LLM ํ˜ธ์ถœ์„ ๋„˜์–ด Workflow Pattern๊ณผ Multi-Agent ๊ตฌ์กฐ๋ฅผ ์ ์šฉํ•ด ํ™•์žฅ ๊ฐ€๋Šฅํ•˜๊ณ  ์•ˆ์ •์ ์ด๋ฉฐ, ํ’ˆ์งˆ์ด ์ง€์† ๊ฐœ์„ ๋˜๋Š” AI ์‹œ์Šคํ…œ์„ ๊ตฌํ˜„ํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ Circuit Breaker, Reactive Stream, Redis ๋ชจ๋‹ˆํ„ฐ๋ง, ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ, ๋ฐ˜๋ณต ํ‰๊ฐ€ ๋ฃจํ”„๊นŒ์ง€ ํฌํ•จํ•˜์—ฌ ์‹ค์ œ ์šด์˜ ํ™˜๊ฒฝ ์ˆ˜์ค€์˜ AI ์•„ํ‚คํ…์ฒ˜ ์„ค๊ณ„ ์—ญ๋Ÿ‰์„ ์™„์„ฑํ•ฉ๋‹ˆ๋‹ค. ์ตœ์ข… ๋ชฉํ‘œ๋Š” ๋‹จ์ˆœํ•œ AI ์‚ฌ์šฉ์ž๊ฐ€ ์•„๋‹Œ, AI ์‹œ์Šคํ…œ์„ ์„ค๊ณ„ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐœ๋ฐœ์ž๋กœ ์„ฑ์žฅํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๐Ÿš€

18๋ช… ์ด ์ˆ˜๊ฐ•ํ•˜๊ณ  ์žˆ์–ด์š”.

๋‚œ์ด๋„ ์ดˆ๊ธ‰

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

์‹ค์Šต ์ค‘์‹ฌ
์‹ค์Šต ์ค‘์‹ฌ
AI ํ™œ์šฉ๋ฒ•
AI ํ™œ์šฉ๋ฒ•
springai
springai
SpringBoot
SpringBoot
์‹ค์Šต ์ค‘์‹ฌ
์‹ค์Šต ์ค‘์‹ฌ
AI ํ™œ์šฉ๋ฒ•
AI ํ™œ์šฉ๋ฒ•
springai
springai
SpringBoot
SpringBoot

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • Multi-LLM ๊ธฐ๋ฐ˜ AI ์•„ํ‚คํ…์ฒ˜ ์„ค๊ณ„ ๋Šฅ๋ ฅ

  • Agentic Workflow ํŒจํ„ด์„ ์‹ค๋ฌด์— ์ ์šฉ ๋ฐฉ๋ฒ•

  • Orchestrated Multi-Agent ์‹œ์Šคํ…œ ๊ตฌํ˜„ ๊ฒฝํ—˜

  • ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ + ์˜ˆ์™ธ ์ฒ˜๋ฆฌ + ์žฅ์•  ๋ณต๊ตฌ ์„ค๊ณ„ ๋Šฅ๋ ฅ

  • ํ’ˆ์งˆ ํ‰๊ฐ€ ๋ฃจํ”„ ๊ธฐ๋ฐ˜ AI ๊ณ ๋„ํ™” ์ „๋žต

  • ์‹ค๋ฌด ์ˆ˜์ค€์˜ AI ์„œ๋น„์Šค ๋ฐฑ์—”๋“œ ๊ตฌ์กฐ ์ดํ•ด

Spring AI Multi-LLM ์•„ํ‚คํ…์ฒ˜์™€ Orchestration ์ค‘์‹ฌ Agent ์‹œ์Šคํ…œ

๋ณธ ๊ณผ์ •์€ ๋‹จ์ˆœํžˆ LLM์„ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๋ฐฐ์šฐ๋Š” ๊ณผ์ •์ด ์•„๋‹™๋‹ˆ๋‹ค.

์‹ค์ œ ์„œ๋น„์Šค์— ์ ์šฉ ๊ฐ€๋Šฅํ•œ AI ์‹œ์Šคํ…œ ์„ค๊ณ„ ์—ญ๋Ÿ‰์„ ๋งŒ๋“œ๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค.

์ด ๊ณผ์ •์€ ๋‹ค์Œ 3๋‹จ๊ณ„ ๊ตฌ์กฐ๋กœ ๊ตฌ์„ฑ๋ฉ๋‹ˆ๋‹ค.

Multi-LLM ์ „๋žต ์„ค๊ณ„ โ†’ Workflow ํŒจํ„ด ์ ์šฉ โ†’ Multi-Agent ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ์™„์„ฑ


1๏ธโƒฃ Multi LLM Architecture ์„ค๊ณ„

๋‹จ์ผ LLM์— ์˜์กดํ•˜์ง€ ์•Š๊ณ ,GPT ยท Gemini ยท LLaMA๋ฅผ ์ „๋žต์ ์œผ๋กœ ์กฐํ•ฉํ•˜๋Š” ๊ตฌ์กฐ๋ฅผ ์„ค๊ณ„ํ•ฉ๋‹ˆ๋‹ค.

์ด ๋‹จ๊ณ„์—์„œ๋Š”:

  • ๋ชจ๋ธ ํŠน์„ฑ ๋ถ„์„ ๋ฐ ์—ญํ•  ๋ถ„๋ฆฌ

  • ์š”์ฒญ ์œ ํ˜• ๊ธฐ๋ฐ˜ Router ์„ค๊ณ„

  • CircuitBreaker + Fallback ์žฅ์•  ๋Œ€์‘ ๊ตฌ์กฐ

  • Reactive Stream ๊ธฐ๋ฐ˜ ์‹ค์‹œ๊ฐ„ ์‘๋‹ต ์ฒ˜๋ฆฌ

  • ๋ฏผ๊ฐ ์ •๋ณด ๋ถ„๊ธฐ ์ฒ˜๋ฆฌ(Security Routing)


๐Ÿ‘‰ ๋ชฉํ‘œ๋Š” โ€œ๋ชจ๋ธ์„ ์ž˜ ์“ฐ๋Š” ๊ฒƒโ€์ด ์•„๋‹ˆ๋ผ โ€œ๋ชจ๋ธ์„ ์ „๋žต์ ์œผ๋กœ ์„ ํƒํ•˜๋Š” ์•„ํ‚คํ…์ฒ˜๋ฅผ ์„ค๊ณ„ํ•˜๋Š” ๊ฒƒโ€ ์ž…๋‹ˆ๋‹ค.


2๏ธโƒฃ Agentic Workflow Patterns ์ ์šฉ

LLM์„ ๋‹จ์ˆœ API๊ฐ€ ์•„๋‹Œ ํ˜‘์—… ํ•˜๋Š” Agent ๊ตฌ์กฐ๋กœ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.

์—ฌ๊ธฐ์„œ ํ•ต์‹ฌ์€ โ€œํŒจํ„ดโ€์ž…๋‹ˆ๋‹ค.

  • Chain Workflow โ†’ ๋‹จ๊ณ„์  ์ฒ˜๋ฆฌ ๊ตฌ์กฐ

  • Parallelization Workflow โ†’ ๋ณ‘๋ ฌ ๋ถ„์„ ๊ตฌ์กฐ

  • Routing Workflow โ†’ ๋™์  ๋ชจ๋ธ ์„ ํƒ

  • Orchestratorโ€“Workers โ†’ ์—ญํ•  ๋ถ„๋ฆฌ ํ˜‘์—… ๊ตฌ์กฐ

  • Evaluatorโ€“Optimizer โ†’ ๋ฐ˜๋ณต ๊ฐœ์„  ๋ฃจํ”„

์ด ๋‹จ๊ณ„์—์„œ๋Š”:

โœ” ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ (CompletableFuture)
โœ” ์บ์‹ฑ ์ „๋žต
โœ” ์˜ˆ์™ธ ์ฒ˜๋ฆฌ
โœ” ๋กœ๊น… ๊ตฌ์กฐ
โœ” ํ’ˆ์งˆ ์ž๋™ ๊ฐœ์„  ๋ฃจํ”„

๐Ÿ‘‰ ๋ชฉํ‘œ๋Š” โ€œAI ํ˜ธ์ถœโ€์ด ์•„๋‹Œ โ€œAI ํ˜‘์—… ๊ตฌ์กฐ ์„ค๊ณ„ ๋Šฅ๋ ฅโ€์„ ํ™•๋ณดํ•˜๋Š” ๊ฒƒ ์ž…๋‹ˆ๋‹ค.


3๏ธโƒฃ Orchestrated Multi-Agent Systems ๊ตฌํ˜„

์•ž์—์„œ ๋ฐฐ์šด ๋ชจ๋“  ํŒจํ„ด์„ ํ†ตํ•ฉํ•˜์—ฌ ์™„์„ฑํ˜• Multi-Agent ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ์‹œ์Šคํ…œ์„ ๊ตฌํ˜„ํ•ฉ๋‹ˆ๋‹ค.

๋‹จ์ˆœ ํŒจํ„ด ํ•™์Šต์ด ์•„๋‹ˆ๋ผ, ๋ณตํ•ฉ์ ์œผ๋กœ ์—ฐ๊ฒฐ๋œ ์‹ค์ œ ์„œ๋น„์Šค ์ˆ˜์ค€์˜ ๊ตฌ์กฐ๋ฅผ ์™„์„ฑํ•ฉ๋‹ˆ๋‹ค.

๊ตฌํ˜„ํ•˜๋Š” ์‹œ์Šคํ…œ ์˜ˆ์‹œ:

  • ์ „๋žต ๋ถ„์„ ์ž๋™ํ™” ์‹œ์Šคํ…œ

  • ์•„์ด๋””์–ด โ†’ ์‹คํ–‰ ์‚ฐ์ถœ๋ฌผ ์ž๋™ ์ƒ์„ฑ ์‹œ์Šคํ…œ

  • ๋‹ค์ˆ˜๊ฒฐ ๊ธฐ๋ฐ˜ AI ํŒ์ • ์‹œ์Šคํ…œ

์ด ๋‹จ๊ณ„์—์„œ๋Š”:

โœ” Redis ๊ธฐ๋ฐ˜ ์‹ค์‹œ๊ฐ„ ์ƒํƒœ ๋ชจ๋‹ˆํ„ฐ๋ง
โœ” ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ + ThreadPool ์„ค๊ณ„
โœ” ๋‹จ๊ณ„๋ณ„ ์˜ˆ์™ธ ์•ˆ์ „ ์ฒ˜๋ฆฌ
โœ” ๋ฐ˜๋ณต ํ’ˆ์งˆ ๊ฐœ์„  ๋ฃจํ”„
โœ” ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ๊ธฐ๋ฐ˜ ํ๋ฆ„ ์ œ์–ด

๐Ÿ‘‰ ๋ชฉํ‘œ๋Š” โ€œAI ๊ธฐ๋Šฅ ๊ตฌํ˜„โ€์ด ์•„๋‹ˆ๋ผ โ€œAI ์‹œ์Šคํ…œ์„ ์„ค๊ณ„ํ•˜๊ณ  ํ†ต์ œํ•  ์ˆ˜ ์žˆ๋Š” ๋Šฅ๋ ฅโ€์„ ์™„์„ฑํ•˜๋Š” ๊ฒƒ ์ž…๋‹ˆ๋‹ค.


๐Ÿ’ก๋ณธ ๊ณผ์ •์˜ ํ•ต์‹ฌ ๋‚ด์šฉ

  • Multi-LLM ๋ผ์šฐํŒ… ์ „๋žต ์„ค๊ณ„

  • ๋ชจ๋ธ ํŠน์„ฑ ๊ธฐ๋ฐ˜ ์—ญํ•  ๋ถ„๋ฆฌ

  • Chain / Parallel / Routing ํŒจํ„ด ๊ตฌํ˜„

  • Orchestrator-Workers ๊ตฌ์กฐ ์„ค๊ณ„

  • Evaluator-Optimizer ๋ฐ˜๋ณต ๊ฐœ์„  ๋ฃจํ”„

  • Circuit Breaker + Fallback ๊ตฌ์กฐ

  • ์‹ค์‹œ๊ฐ„ ์ƒํƒœ ๋ชจ๋‹ˆํ„ฐ๋ง ์•„ํ‚คํ…์ฒ˜

  • ์ „๋žต ๋ถ„์„, ์‹คํ–‰ ์ž๋™ํ™”, ๋‹ค์ˆ˜๊ฒฐ ํŒ๋‹จ ์‹œ์Šคํ…œ ๊ตฌํ˜„

๐Ÿ’ก๋ณธ ๊ณผ์ •์˜ ํŠน์ง•

โœ” ์ด๋ก ์ด ์•„๋‹Œ ์‹ค์ œ ๊ตฌํ˜„ ์ค‘์‹ฌ
โœ” ๋‹จ์ผ ๋ชจ๋ธ์ด ์•„๋‹Œ Multi-Model ์ „๋žต ์„ค๊ณ„
โœ” ์žฅ์•  ๋Œ€์‘์„ ๊ณ ๋ คํ•œ Production Level ๊ตฌ์กฐ
โœ” ๋ฐ˜๋ณต ํ‰๊ฐ€ ๊ธฐ๋ฐ˜ AI ํ’ˆ์งˆ ๊ฐœ์„  ์„ค๊ณ„
โœ” Redis ๊ธฐ๋ฐ˜ ์‹ค์‹œ๊ฐ„ ์ƒํƒœ ๋ชจ๋‹ˆํ„ฐ๋ง

๐Ÿ’ก๋ณธ ํ•™์Šต ๋‚ด์šฉ

1โƒฃ SpringBoot์—์„œ Spring AI ๊ฐœ๋ฐœ ํ™˜๊ฒฝ ๋ฐ Multi LLM ํ™˜๊ฒฝ ๊ตฌ์ถ•

2โƒฃ Chapter 1. Multi LLM Architecture 

3โƒฃ Chapter 2. Agentic Workflow Patterns

4โƒฃ Chapter 3. Orchestrated Multi-Agent Systems

์ด๋Ÿฐ ๋‚ด์šฉ์„ ๋ฐฐ์›Œ์š”


1โƒฃ SpringBoot์—์„œ Spring AI ๊ฐœ๋ฐœ ํ™˜๊ฒฝ ๋ฐ Multi LLM ํ™˜๊ฒฝ ๊ตฌ์ถ•


AI ์•„ํ‚คํ…์ฒ˜ ์„ค๊ณ„ ์ด์ „์—, ์‹ค๋ฌด ์ˆ˜์ค€์˜ Spring AI ๊ฐœ๋ฐœ ํ™˜๊ฒฝ์„ ์™„์„ฑํ•ฉ๋‹ˆ๋‹ค.

๋‹จ์ˆœ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ถ”๊ฐ€๊ฐ€ ์•„๋‹Œ, ์‹ค์Šต ์ค‘์‹ฌ ํ”„๋กœ์ ํŠธ ๊ธฐ๋ฐ˜์œผ๋กœ ์ˆ˜์—…์ด ์ง„ํ–‰๋ฉ๋‹ˆ๋‹ค.

โœ” ์‹ค์Šต ํ”„๋กœ์ ํŠธ์— ๊ต์•ˆ์ด ํ•จ๊ป˜ ํฌํ•จ
โœ” ์ฝ”๋“œ์™€ ์ด๋ก ์„ ๋™์‹œ์— ํ™•์ธ
โœ” ๋ฐ”๋กœ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ๊ตฌ์กฐ ์ œ๊ณต


๐Ÿ“Œ ํ•™์Šต ๋‚ด์šฉ

  1. ๊ฐœ๋ฐœํ™˜๊ฒฝ ๋ฐ ์ˆ˜์—… ์ „์ฒด ๊ตฌ์กฐ ์„ค๋ช…

  2. ์‹ค์Šต ํ”„๋กœ์ ํŠธ ์ƒ์„ฑ ๋ฐ ๊ต์•ˆ ์„ธํŒ…

  3. OpenAI API Key ๋ฐœ๊ธ‰ ๋ฐ ์—ฐ๋™

  4. Gemini API Key ๋ฐœ๊ธ‰ ๋ฐ ์—ฐ๋™

  5. Ollama ํ™˜๊ฒฝ ์…‹ํŒ… ๋ฐ Llama 3.2 ์…‹ํŒ…

  6. Spring AI ํ™˜๊ฒฝ ์„ค์ • ๋ฐ ๊ธฐ๋ณธ ๊ตฌ์กฐ ์ดํ•ด

  7. Redis ์—ฐ๋™ ์„ค์ •




2โƒฃChapter 1. Multi LLM Architecture 

๋‹จ์ผ ๋ชจ๋ธ์ด ์•„๋‹Œ, ์ „๋žต์  Multi-LLM ๊ตฌ์กฐ๋ฅผ ์„ค๊ณ„ํ•ฉ๋‹ˆ๋‹ค.


1. Multi LLM

GPT, Gemini, LLaMA 3๊ฐœ์˜ LLM์„ ๋™์‹œ์— ์‚ฌ์šฉํ•˜๋Š” ๊ตฌ์กฐ์ž…๋‹ˆ๋‹ค.

์š”์ฒญ ์œ ํ˜•๊ณผ ์ „๋žต์— ๋”ฐ๋ผ ์ ์ ˆํ•œ ๋ชจ๋ธ์„ ์„ ํƒํ•˜๋Š” Multi-LLM ๊ธฐ๋ฐ˜ ์„œ๋น„์Šค ์•„ํ‚คํ…์ฒ˜๋ฅผ ๊ตฌํ˜„ํ•ฉ๋‹ˆ๋‹ค.

โœ” ๋ชจ๋ธ ํŠน์„ฑ ๊ธฐ๋ฐ˜ ์ „๋žต ์„ค๊ณ„
โœ” ์„œ๋น„์Šค ๋ ˆ๋ฒจ์—์„œ ๋ชจ๋ธ ๋ถ„๋ฆฌ ๊ตฌ์กฐ ๊ตฌํ˜„


2. Multi LLM Stream

Reactive Streams(Project Reactor) ๊ธฐ๋ฐ˜ ์ŠคํŠธ๋ฆฌ๋ฐ ์ฒ˜๋ฆฌ

โœ” ํ† ํฐ ๋‹จ์œ„ ์‹ค์‹œ๊ฐ„ ์‘๋‹ต
โœ” ๋น„๋™๊ธฐ ๊ธฐ๋ฐ˜ ๊ตฌ์กฐ
โœ” ์‚ฌ์šฉ์ž ๊ฒฝํ—˜ ๊ฐœ์„ 


3. Fallback (์žฅ์•  ๋Œ€์‘ ์•„ํ‚คํ…์ฒ˜)

LLaMA(Ollama) + GPT ์ด์ค‘ ๊ตฌ์กฐ ์„ค๊ณ„

โœ” Resilience4j CircuitBreaker ์ ์šฉ
โœ” ์žฅ์•  ๋ฐœ์ƒ ์‹œ ์ž๋™ GPT Fallback
โœ” Production Level ์•ˆ์ •์„ฑ ํ™•๋ณด


4. Router (๋ชจ๋ธ ์ „๋žต ๋ถ„๋ฅ˜)

์‚ฌ์šฉ์ž ์š”์ฒญ์„ ๋ถ„๋ฅ˜ํ•˜์—ฌ ๋ชจ๋ธ์„ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค.

CREATIVE(์ฐฝ์˜์  ๊ธ€์“ฐ๊ธฐ / ์ถ”๋ก  / ์ฝ”๋”ฉ) GPT ์‚ฌ์šฉ

TECHNICAL(๊ธฐ์ˆ  ๋ถ„์„ / ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ) Gemini ์‚ฌ์šฉ

GENERAL(๋‹จ์ˆœ ์งˆ์˜์‘๋‹ต) LLaMA ์‚ฌ์šฉ

UNKNOWN(๋ถ„๋ฅ˜ ์‹คํŒจ) GPT ์‚ฌ์šฉ

โœ” ์ „๋žต ๊ธฐ๋ฐ˜ ๋ชจ๋ธ ์„ ํƒ ๊ตฌ์กฐ ์„ค๊ณ„


5. Security (๋ฏผ๊ฐ์ •๋ณด ๋ณดํ˜ธ ์•„ํ‚คํ…์ฒ˜)

์ž…๋ ฅ ๋ฐ์ดํ„ฐ ๋‚ด ๋ฏผ๊ฐ ์ •๋ณด๋ฅผ ํƒ์ง€ํ•˜์—ฌ Local LLM ๋˜๋Š” ์™ธ๋ถ€ LLM์œผ๋กœ ๋ถ„๊ธฐ ํ•ฉ๋‹ˆ๋‹ค.

โœ” ์ „ํ™”๋ฒˆํ˜ธ
โœ” ์ด๋ฉ”์ผ
โœ” ์ฃผ๋ฏผ๋“ฑ๋ก๋ฒˆํ˜ธ
โœ” ๊ธฐ๋ฐ€ ํ‚ค์›Œ๋“œ



3โƒฃChapter 2. Agentic Workflow Patterns

LLM์„ โ€œ๋„๊ตฌโ€๊ฐ€ ์•„๋‹Œ ํ˜‘์—…ํ•˜๋Š” Agent ๊ตฌ์กฐ๋กœ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค.


1. Chain Workflow

์ž‘์—…์„ ์ˆœ์ฐจ์ ์œผ๋กœ ์—ฐ๊ฒฐํ•˜์—ฌ ์ด์ „ ๋‹จ๊ณ„์˜ ๊ฒฐ๊ณผ๋ฅผ ๋‹ค์Œ ๋‹จ๊ณ„์˜ ์ž…๋ ฅ์œผ๋กœ ์ „๋‹ฌํ•˜๋Š” ๊ตฌ์กฐ๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

  • Step1 (์š”์•ฝ) โ†’ Gemini (๋น ๋ฅธ ์ฒ˜๋ฆฌ)

  • Step2 (์‹ฌ์ธต ๋ถ„์„) โ†’ GPT (์ •ํ™•ํ•œ ์ถ”๋ก )

  • Step3 (๋ณด์•ˆ ๊ฒ€ํ† ) โ†’ Llama (๋กœ์ปฌ ์‹คํ–‰)

โœ” ๋‹จ๊ณ„์  ์ฒ˜๋ฆฌ ๊ตฌ์กฐ
โœ” ์—ญํ•  ๊ธฐ๋ฐ˜ ๋ชจ๋ธ ๋ถ„๋ฆฌ


2. Parallelization Workflow

์—ฌ๋™์ผ ์ž…๋ ฅ์„ ์—ฌ๋Ÿฌ LLM์— ๋ณ‘๋ ฌ๋กœ ์‹คํ–‰ํ•˜๊ณ  ๊ฒฐ๊ณผ๋ฅผ ๋ณ‘ํ•ฉํ•˜๋Š” ๊ตฌ์กฐ๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ์ˆ  ๋ถ„์„ โ†’ LLaMA
์‹œ์žฅ ๋ถ„์„ โ†’ GPT
๊ธ€๋กœ๋ฒŒ ๋ถ„์„ โ†’ Gemini
์ตœ์ข… ๋ณด๊ณ ์„œ โ†’ GPT

โœ” CompletableFuture ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ
โœ” ํƒ€์ž„์•„์›ƒ + ์˜ˆ์™ธ ์ฒ˜๋ฆฌ
โœ” ๋กœ๊น… ํฌํ•จ ์‹ค๋ฌดํ˜• ๊ตฌ์กฐ


3. Routing Workflow

์ž…๋ ฅ ์กฐ๊ฑด์— ๋”ฐ๋ผ ์ตœ์ ์˜ LLM์œผ๋กœ ๋ถ„๊ธฐ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ตฌ์กฐ๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

  1. ์บ์‹œ ํ™•์ธ

  2. LLaMA ๋ถ„๋ฅ˜ (SIMPLE / COMPLEX / SEARCH)

  3. ๋ผ์šฐํŒ… ํ…Œ์ด๋ธ” ๊ธฐ๋ฐ˜ ๋ชจ๋ธ ์„ ํƒ

  4. ๋ชจ๋ธ ํ˜ธ์ถœ

  5. ๊ฒฐ๊ณผ ์บ์‹ฑ

โœ” ๋น„์šฉ ์ตœ์ ํ™”
โœ” ์„ฑ๋Šฅ ์ตœ์ ํ™”


4. Orchestratorโ€“Workers ๊ตฌ์กฐ

์ค‘์•™ Orchestrator๊ฐ€ GPT, Gemini, Llama๋ฅผ Worker๋กœ ์ œ์–ดํ•˜๋Š” ๊ตฌ์กฐ๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

GPT โ†’ Orchestrator
LLaMA / Gemini โ†’ Worker

  1. Planning (GPT)

  2. ๋ณ‘๋ ฌ Execution

  3. Aggregation

โœ” ํ˜‘์—…ํ˜• Agent ๊ตฌ์กฐ
โœ” ๋ณ‘๋ ฌ ์‹คํ–‰
โœ” ๋‹จ๊ณ„๋ณ„ ๋กœ๊ทธ ์ถœ๋ ฅ


5. Evaluatorโ€“Optimizer (ํ’ˆ์งˆ ๊ฐœ์„  ๋ฃจํ”„)

์ƒ์„ฑ ๊ฒฐ๊ณผ๋ฅผ ํ‰๊ฐ€ํ•˜๊ณ  ๊ฐœ์„ ํ•˜๋Š” ๋ฐ˜๋ณต ๊ตฌ์กฐ๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

GPT โ†’ ์ดˆ์•ˆ ์ƒ์„ฑ
Gemini โ†’ ํ’ˆ์งˆ ํ‰๊ฐ€
๊ธฐ์ค€ ์ ์ˆ˜ ๋ฏธ๋‹ฌ ์‹œ ๋ฐ˜๋ณต ๊ฐœ์„ 

โœ” ๋ฐ˜๋ณต ๊ฐœ์„  ๊ตฌ์กฐ
โœ” ์ž๋™ ํ’ˆ์งˆ ์ตœ์ ํ™” ์‹œ์Šคํ…œ



4โƒฃChapter 3. Orchestrated Multi-Agent Systems

์ด์ „ ๋ชจ๋“  ํŒจํ„ด์„ ํ†ตํ•ฉํ•˜์—ฌ ์™„์„ฑํ˜• Multi-Agent ์‹œ์Šคํ…œ์„ ๊ตฌํ˜„ํ•ฉ๋‹ˆ๋‹ค.


1. Strategic Analysis

์ „๋žต ํ’ˆ์งˆ์„ ๊ทน๋Œ€ํ™”ํ•˜๊ธฐ ์œ„ํ•œ ๋ฐ˜๋ณต ๊ฐœ์„  ๊ธฐ๋ฐ˜ ๋ถ„์„ ์„œ๋น„์Šค๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

๋ฉ€ํ‹ฐ ๋ชจ๋ธ ๊ธฐ๋ฐ˜ ์ „๋žต ๋ถ„์„

Architecture Flow
Routing โ†’ Parallel Analysis โ†’ Evaluator-Optimizer Loop โ†’ Chain โ†’ Orchestrator-Workers โ†’ Final Output

โœ” CompletableFuture ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ
โœ” Redis ๊ธฐ๋ฐ˜ ์‹ค์‹œ๊ฐ„ ์ƒํƒœ ๋ชจ๋‹ˆํ„ฐ๋ง
โœ” ๋ฐ˜๋ณต ํ’ˆ์งˆ ๊ฐœ์„  ๋ฃจํ”„

2. Precision Execution

์•„์ด๋””์–ด๋ฅผ ์‹ค์ œ ์‹คํ–‰ ์‚ฐ์ถœ๋ฌผ(์ฝ”๋“œ/๋ฌธ์„œ)๋กœ ์™„์„ฑํ•˜๋Š” ์‹คํ–‰ ์ค‘์‹ฌ ์„œ๋น„์Šค๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

Architecture Flow
Refinement โ†’ Orchestrator โ†’ Parallel Workers โ†’ Aggregation

โœ” Redis ๊ธฐ๋ฐ˜ ์‹ค์‹œ๊ฐ„ ์ƒํƒœ ๋ชจ๋‹ˆํ„ฐ๋ง
โœ” ์ „์šฉ ThreadPool
โœ” ์•ˆ์ „ํ•œ ์˜ˆ์™ธ ์ฒ˜๋ฆฌ

3. Voting Analysis

๋ชจ๋ธ ํŽธํ–ฅ ์ œ๊ฑฐ ๋ฐ ์‹ ๋ขฐ๋„ ํ–ฅ์ƒ์„ ์œ„ํ•œ ํ•ฉ์˜ ๊ธฐ๋ฐ˜ ๋ถ„์„ ์„œ๋น„์Šค๋ฅผ ๊ตฌํ˜„ ํ•ฉ๋‹ˆ๋‹ค.

GPT, Gemini, LLaMA ๋ณ‘๋ ฌ ํ˜ธ์ถœ โ†’ GPT๊ฐ€ ์ตœ์ข… ํŒ์ •๊ด€ ์—ญํ•  ์ˆ˜ํ–‰

Architecture Flow
Parallel Invocation โ†’ Response Collection โ†’ Judge Decision

โœ” ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ ๊ตฌ์กฐ
โœ” Redis Pub/Sub ์ƒํƒœ ๋ฐœํ–‰
โœ” Executor ์•ˆ์ „ ์ข…๋ฃŒ



๐Ÿ’ก์ด ๊ฐ•์˜์—์„œ ๋ฐฐ์šฐ๋Š” ํ•ต์‹ฌ ๋‚ด์šฉ

โœ” Multi-LLM ์ „๋žต ์„ค๊ณ„
โœ” Agentic Workflow ๊ตฌํ˜„
โœ” ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ๊ธฐ๋ฐ˜ ํ˜‘์—… ๊ตฌ์กฐ
โœ” ์žฅ์•  ๋Œ€์‘ + ์•ˆ์ •์„ฑ ์„ค๊ณ„
โœ” ๋ฐ˜๋ณต ํ‰๊ฐ€ ๊ธฐ๋ฐ˜ ํ’ˆ์งˆ ๊ฐœ์„  ์‹œ์Šคํ…œ

๐Ÿ’ก์ตœ์ข… ๋ชฉํ‘œ

  • ์ด ๊ณผ์ •์€ ๋‹จ์ˆœํžˆ LLM์„ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๋ฐฐ์šฐ๋Š” ๊ณผ์ •์ด ์•„๋‹™๋‹ˆ๋‹ค.


    Multi-LLM ์ „๋žต ์„ค๊ณ„ โ†’ Workflow ํŒจํ„ด ์ ์šฉ โ†’ Multi-Agent ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ์™„์„ฑ

    ์‹ค์ œ ์„œ๋น„์Šค์— ์ ์šฉ ๊ฐ€๋Šฅํ•œ AI ์‹œ์Šคํ…œ ์„ค๊ณ„ ์—ญ๋Ÿ‰์„ ๋งŒ๋“œ๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค.

์ˆ˜๊ฐ• ์ „ ์ฐธ๊ณ  ์‚ฌํ•ญ

์‹ค์Šต ํ™˜๊ฒฝ

  • ์šด์˜ ์ฒด์ œ ๋ฐ ๋ฒ„์ „(OS): Windows, macOS, Linux ๋“ฑ ๋ชจ๋“  OS๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

  • ์‚ฌ์šฉ ๋„๊ตฌ: JDK,Intellij(Ultimate or Community),Redis& Docker,Node.js,VSCode

  • PC ์‚ฌ์–‘: ์ธํ„ฐ๋„ท ์ ‘์†์ด ๊ฐ€๋Šฅํ•œ ๊ธฐ๋ณธ ์‚ฌ์–‘์˜ PC

ํ•™์Šต ์ž๋ฃŒ

  • ์ œ๊ณตํ•˜๋Š” ํ•™์Šต ์ž๋ฃŒ ํ˜•์‹: ๊ต์œก ํ™˜๊ฒฝ ํ”„๋กœ์ ํŠธ, ๊ต์•ˆ ๋“ฑ ๋‹ค์–‘ํ•œ ํ˜•ํƒœ์˜ ์ž๋ฃŒ ์ œ๊ณต

  • ๋ถ„๋Ÿ‰ ๋ฐ ์šฉ๋Ÿ‰: ๊ฐ ์„น์…˜๋ณ„๋กœ ํ•™์Šต ์ž๋ฃŒ ์ œ๊ณต

์„ ์ˆ˜ ์ง€์‹ ๋ฐ ์œ ์˜์‚ฌํ•ญ

  • HTML, CSS, JavaScript ๊ธฐ๋ณธ ์ง€์‹ ๋ณด์œ ์ž.

  • Java, SpringBoot ๊ฐœ๋ฐœ ๊ฒฝํ—˜์ž

  • ์งˆ๋ฌธ์€ ๊ฒŒ์‹œํŒ์— ์˜ฌ๋ ค ์ฃผ์‹œ๋ฉด ๋ฐ”๋กœ ๋‹ต๋ณ€ ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.


  • ๋ณธ ๊ฐ•์˜์˜ ์ €์ž‘๊ถŒ์€ (์ฃผ)ํ† ๋„ค์†”์— ์žˆ์œผ๋ฉฐ, ๋ฌด๋‹จ ๋ฐฐํฌ ๋ฐ ๋ณต์ œ๋ฅผ ๊ธˆ์ง€ํ•ฉ๋‹ˆ๋‹ค. ํ•™์Šต ์ž๋ฃŒ ์—ญ์‹œ ์ €์ž‘๊ถŒ์ด ์žˆ์œผ๋ฉฐ, ๊ฐœ์ธ์ ์ธ ํ•™์Šต ๋ชฉ์  ์™ธ ์‚ฌ์šฉ์„ ๊ธˆํ•ฉ๋‹ˆ๋‹ค.

ํ•ด๋‹น ํ…œํ”Œ๋ฆฟ์€ 'AWS DeepRacer๋กœ ๋ฐฐ์šฐ๋Š” ์ธ๊ณต์ง€๋Šฅ๊ณผ ์ž์œจ์ฃผํ–‰' ๊ฐ•์˜๋ฅผ ์ฐธ๊ณ ํ•˜์—ฌ ์ œ๊ณตํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • โœ” Multi-LLM ์ „๋žต ์ˆ˜๋ฆฝ๊ฐ€

  • โœ” Agentic Workflow ์„ค๊ณ„์ž

  • โœ” ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ ๊ธฐ๋ฐ˜ Multi-Agent ์‹œ์Šคํ…œ ๊ตฌํ˜„ ๊ฐœ๋ฐœ์ž

  • โœ” ์žฅ์•  ๋Œ€์‘๊ณผ ํ’ˆ์งˆ ๊ฐœ์„ ๊นŒ์ง€ ๊ณ ๋ คํ•œ Production Level ๊ตฌ์กฐ ์„ค๊ณ„์ž

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • HTML, CSS, JavaScript ๊ธฐ์ดˆ ์ง€์‹

  • Java, SpringBoot ์‹œ์Šคํ…œ ๊ฐœ๋ฐœ ๊ฒฝํ—˜์ž

์•ˆ๋…•ํ•˜์„ธ์š”
์ด์ง„๋งŒ(tootoo)์ž…๋‹ˆ๋‹ค.

107

๋ช…

์ˆ˜๊ฐ•์ƒ

9

๊ฐœ

์ˆ˜๊ฐ•ํ‰

3

๊ฐœ

๋‹ต๋ณ€

5.0

์ 

๊ฐ•์˜ ํ‰์ 

2

๊ฐœ

๊ฐ•์˜

์•ˆ๋…•ํ•˜์„ธ์š”

์ง€์‹๊ณต์œ ์ž ์ด์ง„๋งŒ(๋‹‰๋„ค์ž„ tootoo) ์ž…๋‹ˆ๋‹ค.

์˜ค๋žœ ์‹œ๊ฐ„ ๊ฐ•์˜์‹ค์—์„œ ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ณผ ์†Œํ†ต์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.

์ด์ œ ์˜จ๋ผ์ธ ์ƒ์—์„œ ์—ฌ๋Ÿฌ๋ถ„๋“ค๊ณผ ์†Œํ†ต ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ข‹์€ ์ปจํ…์ธ  ๋งŒ๋“ค์–ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.

๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

22๊ฐœ โˆ™ (6์‹œ๊ฐ„ 56๋ถ„)

ํ•ด๋‹น ๊ฐ•์˜์—์„œ ์ œ๊ณต:

์ˆ˜์—…์ž๋ฃŒ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์•„์ง ์ถฉ๋ถ„ํ•œ ํ‰๊ฐ€๋ฅผ ๋ฐ›์ง€ ๋ชปํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.
๋ชจ๋‘์—๊ฒŒ ๋„์›€์ด ๋˜๋Š” ์ˆ˜๊ฐ•ํ‰์˜ ์ฃผ์ธ๊ณต์ด ๋˜์–ด์ฃผ์„ธ์š”!

์ด์ง„๋งŒ(tootoo)๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜

์ง€์‹๊ณต์œ ์ž๋‹˜์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

๋น„์Šทํ•œ ๊ฐ•์˜

๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

์–ผ๋ฆฌ๋ฒ„๋“œ ํ• ์ธ ์ค‘

โ‚ฉ13

40%

โ‚ฉ27,500