채널톡 아이콘

Spring AI Multi-LLM 아키텍처와 Orchestration 중심 Agent 시스템

본 과정은 Spring AI 기반으로 GPT, Gemini, LLaMA를 전략적으로 조합하여 Multi-LLM 아키텍처와 오케스트레이션 중심 Agent 시스템을 설계하는 고급 과정입니다. 단일 LLM 호출을 넘어 Workflow Pattern과 Multi-Agent 구조를 적용해 확장 가능하고 안정적이며, 품질이 지속 개선되는 AI 시스템을 구현합니다. 또한 Circuit Breaker, Reactive Stream, Redis 모니터링, 병렬 처리, 반복 평가 루프까지 포함하여 실제 운영 환경 수준의 AI 아키텍처 설계 역량을 완성합니다. 최종 목표는 단순한 AI 사용자가 아닌, AI 시스템을 설계할 수 있는 개발자로 성장하는 것입니다. 🚀

19명 이 수강하고 있어요.

난이도 초급

수강기한 무제한

실습 중심
실습 중심
AI 활용법
AI 활용법
springai
springai
SpringBoot
SpringBoot
실습 중심
실습 중심
AI 활용법
AI 활용법
springai
springai
SpringBoot
SpringBoot

수강 후 이런걸 얻을 수 있어요

  • Multi-LLM 기반 AI 아키텍처 설계 능력

  • Agentic Workflow 패턴을 실무에 적용 방법

  • Orchestrated Multi-Agent 시스템 구현 경험

  • 병렬 처리 + 예외 처리 + 장애 복구 설계 능력

  • 품질 평가 루프 기반 AI 고도화 전략

  • 실무 수준의 AI 서비스 백엔드 구조 이해

Spring AI Multi-LLM 아키텍처와 Orchestration 중심 Agent 시스템

본 과정은 단순히 LLM을 사용하는 방법을 배우는 과정이 아닙니다.

실제 서비스에 적용 가능한 AI 시스템 설계 역량을 만드는 과정입니다.

이 과정은 다음 3단계 구조로 구성됩니다.

Multi-LLM 전략 설계 → Workflow 패턴 적용 → Multi-Agent 오케스트레이션 완성


1️⃣ Multi LLM Architecture 설계

단일 LLM에 의존하지 않고,GPT · Gemini · LLaMA를 전략적으로 조합하는 구조를 설계합니다.

이 단계에서는:

  • 모델 특성 분석 및 역할 분리

  • 요청 유형 기반 Router 설계

  • CircuitBreaker + Fallback 장애 대응 구조

  • Reactive Stream 기반 실시간 응답 처리

  • 민감 정보 분기 처리(Security Routing)


👉 목표는 “모델을 잘 쓰는 것”이 아니라 “모델을 전략적으로 선택하는 아키텍처를 설계하는 것” 입니다.


2️⃣ Agentic Workflow Patterns 적용

LLM을 단순 API가 아닌 협업 하는 Agent 구조로 확장합니다.

여기서 핵심은 “패턴”입니다.

  • Chain Workflow → 단계적 처리 구조

  • Parallelization Workflow → 병렬 분석 구조

  • Routing Workflow → 동적 모델 선택

  • Orchestrator–Workers → 역할 분리 협업 구조

  • Evaluator–Optimizer → 반복 개선 루프

이 단계에서는:

✔ 병렬 처리 (CompletableFuture)
✔ 캐싱 전략
✔ 예외 처리
✔ 로깅 구조
✔ 품질 자동 개선 루프

👉 목표는 “AI 호출”이 아닌 “AI 협업 구조 설계 능력”을 확보하는 것 입니다.


3️⃣ Orchestrated Multi-Agent Systems 구현

앞에서 배운 모든 패턴을 통합하여 완성형 Multi-Agent 오케스트레이션 시스템을 구현합니다.

단순 패턴 학습이 아니라, 복합적으로 연결된 실제 서비스 수준의 구조를 완성합니다.

구현하는 시스템 예시:

  • 전략 분석 자동화 시스템

  • 아이디어 → 실행 산출물 자동 생성 시스템

  • 다수결 기반 AI 판정 시스템

이 단계에서는:

✔ Redis 기반 실시간 상태 모니터링
✔ 병렬 처리 + ThreadPool 설계
✔ 단계별 예외 안전 처리
✔ 반복 품질 개선 루프
✔ 오케스트레이션 기반 흐름 제어

👉 목표는 “AI 기능 구현”이 아니라 “AI 시스템을 설계하고 통제할 수 있는 능력”을 완성하는 것 입니다.


💡본 과정의 핵심 내용

  • Multi-LLM 라우팅 전략 설계

  • 모델 특성 기반 역할 분리

  • Chain / Parallel / Routing 패턴 구현

  • Orchestrator-Workers 구조 설계

  • Evaluator-Optimizer 반복 개선 루프

  • Circuit Breaker + Fallback 구조

  • 실시간 상태 모니터링 아키텍처

  • 전략 분석, 실행 자동화, 다수결 판단 시스템 구현

💡본 과정의 특징

✔ 이론이 아닌 실제 구현 중심
✔ 단일 모델이 아닌 Multi-Model 전략 설계
✔ 장애 대응을 고려한 Production Level 구조
✔ 반복 평가 기반 AI 품질 개선 설계
✔ Redis 기반 실시간 상태 모니터링

💡본 학습 내용

1⃣ SpringBoot에서 Spring AI 개발 환경 및 Multi LLM 환경 구축

2⃣ Chapter 1. Multi LLM Architecture 

3⃣ Chapter 2. Agentic Workflow Patterns

4⃣ Chapter 3. Orchestrated Multi-Agent Systems

이런 내용을 배워요


1⃣ SpringBoot에서 Spring AI 개발 환경 및 Multi LLM 환경 구축


AI 아키텍처 설계 이전에, 실무 수준의 Spring AI 개발 환경을 완성합니다.

단순 라이브러리 추가가 아닌, 실습 중심 프로젝트 기반으로 수업이 진행됩니다.

✔ 실습 프로젝트에 교안이 함께 포함
✔ 코드와 이론을 동시에 확인
✔ 바로 실행 가능한 구조 제공


📌 학습 내용

  1. 개발환경 및 수업 전체 구조 설명

  2. 실습 프로젝트 생성 및 교안 세팅

  3. OpenAI API Key 발급 및 연동

  4. Gemini API Key 발급 및 연동

  5. Ollama 환경 셋팅 및 Llama 3.2 셋팅

  6. Spring AI 환경 설정 및 기본 구조 이해

  7. Redis 연동 설정




2⃣Chapter 1. Multi LLM Architecture 

단일 모델이 아닌, 전략적 Multi-LLM 구조를 설계합니다.


1. Multi LLM

GPT, Gemini, LLaMA 3개의 LLM을 동시에 사용하는 구조입니다.

요청 유형과 전략에 따라 적절한 모델을 선택하는 Multi-LLM 기반 서비스 아키텍처를 구현합니다.

✔ 모델 특성 기반 전략 설계
✔ 서비스 레벨에서 모델 분리 구조 구현


2. Multi LLM Stream

Reactive Streams(Project Reactor) 기반 스트리밍 처리

✔ 토큰 단위 실시간 응답
✔ 비동기 기반 구조
✔ 사용자 경험 개선


3. Fallback (장애 대응 아키텍처)

LLaMA(Ollama) + GPT 이중 구조 설계

✔ Resilience4j CircuitBreaker 적용
✔ 장애 발생 시 자동 GPT Fallback
✔ Production Level 안정성 확보


4. Router (모델 전략 분류)

사용자 요청을 분류하여 모델을 선택합니다.

CREATIVE(창의적 글쓰기 / 추론 / 코딩) GPT 사용

TECHNICAL(기술 분석 / 데이터 처리) Gemini 사용

GENERAL(단순 질의응답) LLaMA 사용

UNKNOWN(분류 실패) GPT 사용

✔ 전략 기반 모델 선택 구조 설계


5. Security (민감정보 보호 아키텍처)

입력 데이터 내 민감 정보를 탐지하여 Local LLM 또는 외부 LLM으로 분기 합니다.

✔ 전화번호
✔ 이메일
✔ 주민등록번호
✔ 기밀 키워드



3⃣Chapter 2. Agentic Workflow Patterns

LLM을 “도구”가 아닌 협업하는 Agent 구조로 확장합니다.


1. Chain Workflow

작업을 순차적으로 연결하여 이전 단계의 결과를 다음 단계의 입력으로 전달하는 구조를 구현 합니다.

  • Step1 (요약) → Gemini (빠른 처리)

  • Step2 (심층 분석) → GPT (정확한 추론)

  • Step3 (보안 검토) → Llama (로컬 실행)

✔ 단계적 처리 구조
✔ 역할 기반 모델 분리


2. Parallelization Workflow

여동일 입력을 여러 LLM에 병렬로 실행하고 결과를 병합하는 구조를 구현 합니다.

기술 분석 → LLaMA
시장 분석 → GPT
글로벌 분석 → Gemini
최종 보고서 → GPT

✔ CompletableFuture 병렬 처리
✔ 타임아웃 + 예외 처리
✔ 로깅 포함 실무형 구조


3. Routing Workflow

입력 조건에 따라 최적의 LLM으로 분기 처리하는 구조를 구현 합니다.

  1. 캐시 확인

  2. LLaMA 분류 (SIMPLE / COMPLEX / SEARCH)

  3. 라우팅 테이블 기반 모델 선택

  4. 모델 호출

  5. 결과 캐싱

✔ 비용 최적화
✔ 성능 최적화


4. Orchestrator–Workers 구조

중앙 Orchestrator가 GPT, Gemini, Llama를 Worker로 제어하는 구조를 구현 합니다.

GPT → Orchestrator
LLaMA / Gemini → Worker

  1. Planning (GPT)

  2. 병렬 Execution

  3. Aggregation

✔ 협업형 Agent 구조
✔ 병렬 실행
✔ 단계별 로그 출력


5. Evaluator–Optimizer (품질 개선 루프)

생성 결과를 평가하고 개선하는 반복 구조를 구현 합니다.

GPT → 초안 생성
Gemini → 품질 평가
기준 점수 미달 시 반복 개선

✔ 반복 개선 구조
✔ 자동 품질 최적화 시스템



4⃣Chapter 3. Orchestrated Multi-Agent Systems

이전 모든 패턴을 통합하여 완성형 Multi-Agent 시스템을 구현합니다.


1. Strategic Analysis

전략 품질을 극대화하기 위한 반복 개선 기반 분석 서비스를 구현 합니다.

멀티 모델 기반 전략 분석

Architecture Flow
Routing → Parallel Analysis → Evaluator-Optimizer Loop → Chain Orchestrator-Workers → Final Output

✔ CompletableFuture 병렬 처리
✔ Redis 기반 실시간 상태 모니터링
✔ 반복 품질 개선 루프

2. Precision Execution

아이디어를 실제 실행 산출물(코드/문서)로 완성하는 실행 중심 서비스를 구현 합니다.

Architecture Flow
Refinement → Orchestrator → Parallel Workers → Aggregation

✔ Redis 기반 실시간 상태 모니터링
✔ 전용 ThreadPool
✔ 안전한 예외 처리

3. Voting Analysis

모델 편향 제거 및 신뢰도 향상을 위한 합의 기반 분석 서비스를 구현 합니다.

GPT, Gemini, LLaMA 병렬 호출 → GPT가 최종 판정관 역할 수행

Architecture Flow
Parallel Invocation → Response Collection → Judge Decision

✔ 병렬 처리 구조
✔ Redis Pub/Sub 상태 발행
✔ Executor 안전 종료



💡이 강의에서 배우는 핵심 내용

✔ Multi-LLM 전략 설계
✔ Agentic Workflow 구현
✔ 오케스트레이션 기반 협업 구조
✔ 장애 대응 + 안정성 설계
✔ 반복 평가 기반 품질 개선 시스템

💡최종 목표

  • 이 과정은 단순히 LLM을 사용하는 방법을 배우는 과정이 아닙니다.


    Multi-LLM 전략 설계 → Workflow 패턴 적용 → Multi-Agent 오케스트레이션 완성

    실제 서비스에 적용 가능한 AI 시스템 설계 역량을 만드는 과정입니다.

수강 전 참고 사항

실습 환경

  • 운영 체제 및 버전(OS): Windows, macOS, Linux 등 모든 OS가 가능합니다.

  • 사용 도구: JDK,Intellij(Ultimate or Community),Redis& Docker,Node.js,VSCode

  • PC 사양: 인터넷 접속이 가능한 기본 사양의 PC

학습 자료

  • 제공하는 학습 자료 형식: 교육 환경 프로젝트, 교안 등 다양한 형태의 자료 제공

  • 분량 및 용량: 각 섹션별로 학습 자료 제공

선수 지식 및 유의사항

  • HTML, CSS, JavaScript 기본 지식 보유자.

  • Java, SpringBoot 개발 경험자

  • 질문은 게시판에 올려 주시면 바로 답변 할 수 있도록 하겠습니다.


  • 본 강의의 저작권은 (주)토네솔에 있으며, 무단 배포 및 복제를 금지합니다. 학습 자료 역시 저작권이 있으며, 개인적인 학습 목적 외 사용을 금합니다.

해당 템플릿은 'AWS DeepRacer로 배우는 인공지능과 자율주행' 강의를 참고하여 제공하고 있습니다.

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • ✔ Multi-LLM 전략 수립가

  • ✔ Agentic Workflow 설계자

  • ✔ 오케스트레이션 기반 Multi-Agent 시스템 구현 개발자

  • ✔ 장애 대응과 품질 개선까지 고려한 Production Level 구조 설계자

선수 지식,
필요할까요?

  • HTML, CSS, JavaScript 기초 지식

  • Java, SpringBoot 시스템 개발 경험자

안녕하세요
이진만(tootoo)입니다.

109

수강생

9

수강평

3

답변

5.0

강의 평점

2

강의

안녕하세요

지식공유자 이진만(닉네임 tootoo) 입니다.

오랜 시간 강의실에서 여러분들과 소통을 했습니다.

이제 온라인 상에서 여러분들과 소통 할 수 있도록 좋은 컨텐츠 만들어 보겠습니다.

감사합니다.

더보기

커리큘럼

전체

22개 ∙ (6시간 56분)

해당 강의에서 제공:

수업자료
강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!

이진만(tootoo)님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

얼리버드 할인 중

₩16,500

40%

₩27,500