Spring 개발자를 위한 실전 LLM 서비스 개발

안녕하세요, 이도원(Kenneth)입니다.

무료 강의 「Spring AI LLM 비용 모니터링 — Actuator 한 줄로 만드는 토큰 대시보드」를 열었습니다.

왜 이 강의를 만들었나요?

기업 AI 프로젝트를 컨설팅하면서 가장 많이 받은 질문은 이것이었습니다.

"챗봇은 만들었는데, 이거 한 달에 얼마 나와요?"

LLM 서비스는 요청마다 비용이 다르고, 응답에 수 초씩 걸리고, 실패 원인이 우리 코드 밖에 있습니다. 그런데 많은 팀이 일반 웹 서비스처럼 모니터링하다가 청구서를 받고 나서야 문제를 알게 됩니다.

에러 0건, Health UP, HTTP 200. 모든 게 정상으로 보이는데 입력 토큰만 몇 배로 늘어나는 장애는 기존 모니터링으로는 잡히지 않습니다.

이 강의에서 하는 것

• Actuator 한 줄로 Spring AI가 이미 남기고 있는 토큰·지연·오류 메트릭을 꺼냅니다.

• docker compose 한 번으로 Prometheus + Grafana 토큰 대시보드를 띄웁니다.

• 평균 대신 p95로 "가끔 느린 요청"을 찾아냅니다.

• topK 4 → 20 설정 하나로 입력 토큰이 약 4배 뛰는 "정상처럼 보이는 장애"를 직접 재현하고 대시보드로 잡습니다.

비즈니스 코드는 고치지 않습니다. 의존성 한 줄과 설정 몇 줄이면 됩니다.

강의 정보

• 분량: 약 1시간 (실습 포함)

  
  

• 실습 환경: JDK 21 이상, Docker Desktop, OpenAI API 키 또는 Ollama(무료)

• 제공 자료: 실습 프로젝트, docker-compose, Grafana 대시보드 JSON, 부하 스크립트(bash · PowerShell), 단계별 교안

메트릭 이름이 Spring AI 표준이라 실습용 대시보드를 내 프로젝트에 그대로 붙일 수 있습니다. API 키가 없어도 Ollama로 끝까지 따라올 수 있습니다.

이런 분께 추천합니다

• Spring AI로 PoC나 사내 챗봇을 만들고 오픈을 앞둔 백엔드 개발자

• Actuator·Prometheus는 써 봤지만 LLM 서비스에서는 무엇을 봐야 할지 모르는 분

• LLM 도입 비용을 숫자로 보고해야 하는 팀장·아키텍트

더 깊이 가고 싶다면

토큰을 원화 비용으로 바꾸는 커스텀 메트릭, 비용 급증 알림, 요청 한 건을 단계별로 보는 분산 추적(Jaeger)은 『Spring 개발자를 위한 실전 LLM 서비스 개발』 섹션 16에서 이어서 다룹니다.

👉 Spring 개발자를 위한 실전 LLM 서비스 개발

수강하시다가 막히는 부분은 질문 게시판에 남겨 주세요. "따라 했는데 그래프가 비어요" 같은 질문도 환영합니다.

수강평으로 남겨 주시는 의견은 다음 강의를 만들 때 큰 힘이 됩니다.

감사합니다.
이도원 드림

안녕하세요. Spring 개발자를 위한 실전 LLM 서비스 개발 (Part 1) 강의에 새 보충 강의를 추가했습니다. 최근 공개된 TypeSafe AI의 결정 모델 Jev를 Spring Boot 애플리케이션에 연동하는 내용으로, 약 1시간 분량입니다.

왜 추가했나
Section 4에서 entity()로 LLM 응답을 Java 객체로 받는 방법과, 모델이 JSON을 코드펜스로 감싸 파싱이 깨지는 실무 함정을 다뤘습니다. 프롬프트로 부탁하든 entity()로 자동화하든, 결국 LLM에게 형식을 "부탁"하는 방식이라는 한계는 남습니다.
Jev는 접근이 다릅니다. 글을 쓰지 않고, 정해진 보기 중에서 답을 골라 확률과 함께 돌려줍니다. 형식이 구조적으로 보장되는 셈입니다. 같은 입력을 두 방식으로 처리해 보면 "구조화된 출력"을 설계할 때 무엇을 고려해야 하는지가 훨씬 선명해집니다. 그래서 Section 4의 연장선으로 이 내용을 정리했습니다.

무엇을 배우나요

1. Jev와 System One 모델의 개념: 텍스트 대신 "타입이 정해진 결정"을 돌려준다는 것의 의미

2. LLM과 Jev의 차이: 서술형 답안 vs 객관식 답안, 각자 잘하는 일과 못하는 일

3. 세 가지 질문 타입(choice · score · noul)과 /v1/systemone 요청 구조

4. Spring에서 호출하기: RestClient로 Jev API를 호출하고, Java enum으로 보기를 만들어 응답을 타입 안전하게 변환

5. 비교 시연: 같은 영화 리뷰를 entity()와 Jev로 각각 분석해 속도, 형식 오류, 확신도, 일관성 비교

함께 업데이트된 자료

• Section 4 예제 코드(ch4): 리뷰 분석 API 2종(/api/movies/review/llm, /api/movies/review/jev)과 JevClient 추가

• 보충 강의 슬라이드와 교안

• 비교 테스트 스크립트: macOS용 review-compare.sh, Windows용 review-compare.ps1

미리 알아두실 점

• Jev는 Spring AI의 기능이 아니라 TypeSafe AI가 제공하는 별도 외부 서비스입니다. 강의에서도 Spring AI의 ChatClient가 아니라 RestClient로 직접 호출합니다.

• Jev는 현재 얼리 액세스 단계라서 API 키 발급에 대기가 있을 수 있습니다. 예제 코드는 기본적으로 Jev 기능이 꺼져 있어(jev.enabled=false), 키가 없어도 기존 실습은 그대로 진행할 수 있습니다. 키가 없는 분은 영상의 시연을 보시며 개념과 코드 위주로 따라오시면 됩니다.

• 출시 초기 서비스라 이후 가격이나 API가 바뀔 수 있습니다. 변경이 생기면 새 소식으로 다시 안내드리겠습니다.

📌 강의 바로가기: https://inf.run/VVpnV

추가된 강의를 들으시면서 궁금한 점이나 실습 중 막히는 부분이 있으면 댓글로 편하게 남겨주세요. 앞으로도 실무에 바로 쓸 수 있는 내용을 꾸준히 보강하겠습니다.

안녕하세요, 이도원입니다.

"Jenkins 파이프라인은 만들어봤는데, ArgoCD나 GitOps는 개념만 들어봤다."

"dev·staging·production 환경별 배포를 어떻게 설계해야 할지 막막하다."

이런 고민을 하시는 분들을 위해 「Jenkins와 ArgoCD로 배우는 실전 GitOps CI/CD」 강의를 인프런에 오픈했습니다.

이 강의는 이런 점이 다릅니다

• Jenkins 기반의 전통적인 CI/CD를 넘어 ArgoCD 기반 GitOps까지 함께 다룹니다.

• Push 방식(Jenkins)과 Pull 방식(ArgoCD)을 같은 클러스터 위에서 직접 비교합니다. 누군가 kubectl로 수동 변경했을 때 한쪽은 그대로 남고 한쪽은 자동 복구되는 걸 눈으로 확인하고, 롤백과 배포 이력 확인 방식의 차이도 직접 체감합니다.

• 두 방식을 결합해 dev·staging은 Jenkins Push, production은 ArgoCD Pull(수동 Sync 승인)로 나누는 하이브리드 배포 파이프라인을 처음부터 끝까지 만들어봅니다.

• Canary, Blue-Green, RBAC, 승인 절차, 장애 대응, 자동 롤백까지 운영에 필요한 핵심 배포 기술을 실습합니다.

실습 환경

Docker Desktop 하나로 진행합니다. Windows와 macOS 모두 가능하고, AWS 같은 클라우드 계정이나 별도 비용은 필요 없습니다.

이런 분께 추천드립니다

• Jenkins는 써봤지만 ArgoCD/GitOps는 처음인 백엔드·인프라 엔지니어

• Kubernetes 배포를 수동 kubectl apply에서 자동화로 넘어가고 싶은 분

• 배포 승인, 롤백, 감사 추적 같은 운영 요건을 고민하는 DevOps·SRE 담당자

총 러닝타임은 약 10~11시간이며, 실습 자료와 트러블슈팅 가이드도 함께 제공됩니다.

👉 강의 보기: https://inf.run/dEjZE

궁금한 점은 댓글이나 강의 Q&A로 편하게 남겨주세요!

이번에 새롭게 Spring 개발자를 위한 실전 LLM 서비스 개발 (Part 1) 강의를 오픈했습니다. 조금 늦은 감이 없지는 않으나, 자바 개발자들에게 친숙한 Spring framework를 이용하여 LLM 애플리케이션을 개발하는데 필요한 내용을 학습하는 강의로 구성했습니다. 많은 관심 부탁드립니다.

왜 이 강의를 만들었나

요즘 RAG, 벡터 검색, AI 에이전트 같은 키워드는 어디서나 접할 수 있지만, 막상 "Spring Boot 백엔드에 어떻게 붙이는가"를 실무 수준으로 다루는 자료는 많지 않았습니다.

이 강의는 제가 실제 RAG 추천 엔드포인트를 디버깅하며 겪었던 문제 — 문서를 토큰 단위로 청킹했을 때 의미 단위가 깨져 검색 품질이 떨어졌던 경험, 그리고 문단 단위 청킹으로 전략을 바꿔 문제를 해결했던 과정 — 을 그대로 커리큘럼에 녹였습니다. 튜토리얼처럼 정답 코드만 보여주는 게 아니라, "왜 안 되는지 → 어떻게 진단하는지 → 어떻게 고치는지"를 함께 따라가는 방식입니다.

이런 분들께 추천합니다

• Spring Boot 경험은 있지만 LLM/AI 서비스 개발은 처음인 백엔드 개발자

• RAG, 벡터 검색을 튜토리얼이 아니라 실무 프로젝트 수준으로 적용하고 싶은 개발자

• 사내 AI 기능(챗봇, 문서 검색, 추천 등)을 Spring 기반으로 직접 구현해야 하는 실무자

Spring Boot로 REST API를 만들어 본 경험만 있으면 충분합니다. AI/LLM 사전 지식은 필요 없습니다.

무엇을 배우나요

1. Spring AI 핵심 기초 ChatClient 기본 사용법, 구조화된 출력(Structured Output), 스트리밍 응답 구현

2. RAG 파이프라인 구축 벡터 스토어 연동, 문서 청킹 전략 비교와 실전 트러블슈팅, 검색 품질 개선, 프롬프트 설계

3. 도구·멀티모달 확장 MCP(Model Context Protocol)를 활용한 외부 도구 연동, 이미지 등 멀티모달 입력 처리, Dify 연동

4. 서비스 안정화와 실전 프로젝트 가드레일 적용, 신뢰성 있는 서비스 설계, 지금까지 배운 내용을 통합하는 미니 프로젝트

부록으로 AI 코딩 도구와 Ollama 활용법도 함께 다룹니다.

시리즈 안내

이번에 출시한 것은 전체 시리즈의 Part 1입니다. Part 2, 3에서는 더 심화된 아키텍처와 실전 케이스를 다룰 예정이며, 시리즈가 모두 출시되면 전체 패키지 할인도 준비할 계획입니다.

📌 강의 바로가기: https://inf.run/VVpnV

궁금한 점이나 커리큘럼 관련 질문은 댓글로 편하게 남겨주세요. Part 1을 통해 여러분의 Spring 서비스에 LLM을 붙이는 첫걸음을 함께하고 싶습니다.