안녕하세요, 이도원(Kenneth)입니다.
무료 강의 「Spring AI LLM 비용 모니터링 — Actuator 한 줄로 만드는 토큰 대시보드」를 열었습니다.
왜 이 강의를 만들었나요?
기업 AI 프로젝트를 컨설팅하면서 가장 많이 받은 질문은 이것이었습니다.
"챗봇은 만들었는데, 이거 한 달에 얼마 나와요?"
LLM 서비스는 요청마다 비용이 다르고, 응답에 수 초씩 걸리고, 실패 원인이 우리 코드 밖에 있습니다. 그런데 많은 팀이 일반 웹 서비스처럼 모니터링하다가 청구서를 받고 나서야 문제를 알게 됩니다.
에러 0건, Health UP, HTTP 200. 모든 게 정상으로 보이는데 입력 토큰만 몇 배로 늘어나는 장애는 기존 모니터링으로는 잡히지 않습니다.
이 강의에서 하는 것
Actuator 한 줄로 Spring AI가 이미 남기고 있는 토큰·지연·오류 메트릭을 꺼냅니다.
docker compose 한 번으로 Prometheus + Grafana 토큰 대시보드를 띄웁니다.
평균 대신 p95로 "가끔 느린 요청"을 찾아냅니다.
topK 4 → 20 설정 하나로 입력 토큰이 약 4배 뛰는 "정상처럼 보이는 장애"를 직접 재현하고 대시보드로 잡습니다.
비즈니스 코드는 고치지 않습니다. 의존성 한 줄과 설정 몇 줄이면 됩니다.
강의 정보
분량: 약 1시간 (실습 포함)
실습 환경: JDK 21 이상, Docker Desktop, OpenAI API 키 또는 Ollama(무료)
제공 자료: 실습 프로젝트, docker-compose, Grafana 대시보드 JSON, 부하 스크립트(bash · PowerShell), 단계별 교안
메트릭 이름이 Spring AI 표준이라 실습용 대시보드를 내 프로젝트에 그대로 붙일 수 있습니다. API 키가 없어도 Ollama로 끝까지 따라올 수 있습니다.
이런 분께 추천합니다
Spring AI로 PoC나 사내 챗봇을 만들고 오픈을 앞둔 백엔드 개발자
Actuator·Prometheus는 써 봤지만 LLM 서비스에서는 무엇을 봐야 할지 모르는 분
LLM 도입 비용을 숫자로 보고해야 하는 팀장·아키텍트
더 깊이 가고 싶다면
토큰을 원화 비용으로 바꾸는 커스텀 메트릭, 비용 급증 알림, 요청 한 건을 단계별로 보는 분산 추적(Jaeger)은 『Spring 개발자를 위한 실전 LLM 서비스 개발』 섹션 16에서 이어서 다룹니다.
👉 Spring 개발자를 위한 실전 LLM 서비스 개발
수강하시다가 막히는 부분은 질문 게시판에 남겨 주세요. "따라 했는데 그래프가 비어요" 같은 질문도 환영합니다.
수강평으로 남겨 주시는 의견은 다음 강의를 만들 때 큰 힘이 됩니다.
감사합니다.
이도원 드림