채널톡 아이콘

Spring AI LLM 비용 모니터링 — Actuator 한 줄로 만드는 토큰 대시보드

Spring AI로 만든 챗봇·RAG 서비스가 토큰을 얼마나 쓰는지, 얼마나 느린지, 얼마나 실패하는지를 숫자와 그래프로 보는 방법을 배웁니다. Spring 개발자에게 익숙한 Actuator 하나로 Spring AI가 이미 남기고 있는 메트릭을 꺼내고, Prometheus + Grafana로 대시보드를 만듭니다.

108명 이 수강하고 있어요.

난이도 초급

수강기한 무제한

AI 활용법
AI 활용법
실습 중심
실습 중심
백엔드이해하기
백엔드이해하기
토이프로젝트
토이프로젝트
AI 활용법
AI 활용법
실습 중심
실습 중심
백엔드이해하기
백엔드이해하기
토이프로젝트
토이프로젝트
Thumbnail
네이버
11번가
라인
당근마켓
딜리버리히어로

딜리버리히어로

임직원들도 이 강의를 듣고 있어요!

네이버
11번가
라인
당근마켓
딜리버리히어로

딜리버리히어로

임직원들도 이 강의를 듣고 있어요!

수강 후 이런걸 얻을 수 있어요

  • Spring AI로 만든 LLM 서비스의 토큰 사용량 · 응답 시간 · 오류율을 실시간 대시보드로 보는 방법을 배웁니다.

  • Spring Boot Actuator로 Spring AI가 자동으로 남기는 메트릭을 켜고 읽습니다.

  • Prometheus로 메트릭을 모으고, Grafana로 토큰·지연·오류 대시보드를 완성합니다.

  • RAG 설정 하나로 비용이 몇 배가 되는 비용 폭탄 장면을 직접 재현하고 대시보드로 잡습니다.

"챗봇은 만들었는데, 운영은 어떻게 하죠?" 🤔

최근 기업 AI 프로젝트를 컨설팅하면서 같은 질문을 반복해서 받았습니다. "챗봇은 만들었는데, 운영은 어떻게 하죠?" "비용이 얼마나 나올지 모르겠어요." LLM 서비스는 요청마다 비용이 다르고, 응답이 수 초씩 걸리고, 실패 원인이 우리 코드 밖에 있습니다. 그런데 많은 팀이 기존 웹 서비스와 같은 방식으로 모니터링하다가 청구서를 받고 나서야 문제를 압니다.

좋은 소식은 Spring 개발자라면 이미 답을 갖고 있다는 것입니다. Spring AI는 처음부터 Micrometer 위에서 관측을 남기도록 만들어져 있습니다. 이 강의는 그 사실 하나에서 출발해, 1시간 안에 내 서비스의 토큰 대시보드를 띄우는 것을 목표로 만들었습니다.

어떤 문제를 해결하나요?

📌 "이 서비스 한 달에 얼마 나와요?"에 답하지 못한다 → 모델별·입력/출력별 토큰 사용량을 실시간 그래프로 본다

📌 가끔 느리다는데 평균 응답 시간은 정상이다 → p95로 "느린 5%"를 드러내고, 모델 호출과 앱 전체 시간을 나눠 본다

📌 설정 하나 바꿨더니 청구서가 늘었다 → topK 변경 하나로 입력 토큰이 약 4배 뛰는 장면을 직접 재현하고, 대시보드로 잡는다

📌 모니터링을 붙이려면 코드를 많이 고쳐야 할 것 같다 → 의존성 한 줄과 설정 몇 줄 — 비즈니스 코드는 그대로

Spring AI LLM 비용 모니터링

  1. "Actuator 한 줄" 전략 — 새 도구나 SDK를 배우지 않습니다. Spring AI가 Micrometer Observation 위에 만들어져 있다는 점을 이용해, 이미 아는 Actuator로 끝냅니다.

  2. 비용 폭탄 재현 시나리오 — 에러 0건, Health UP, HTTP 200인데 비용만 몇 배가 되는 "정상처럼 보이는 장애"를 직접 일으켜 봅니다. 이론이 아니라 장면으로 기억합니다.

  3. 그대로 가져다 쓰는 완성 키트 — 실습 프로젝트, docker-compose, Grafana 대시보드 JSON, 부하 스크립트(bash·PowerShell)를 모두 제공합니다. 메트릭 이름이 Spring AI 표준이라 내 프로젝트에 대시보드를 그대로 붙일 수 있습니다.

  4. 실제 메트릭 이름 기준 — 문서와 실제 출력이 다른 부분(예: ChatClient 메트릭 이름)을 실습 환경에서 확인한 이름으로 알려 드립니다. "따라 했는데 그래프가 비어요"를 미리 막습니다.

이런 분들께 추천해요

Spring AI 서비스 오픈을 앞둔 백엔드 개발자

PoC는 끝났고 오픈이 다가오는데, "운영 지표는 뭘 보죠?"라는 질문에 아직 답이 없다면.

Actuator · Prometheus는 써 봤지만 LLM은 처음인 Spring 개발자
Spring Boot·Spring Cloud 서비스는 모니터링해 봤지만, 토큰·p95·모델 호출 수처럼 LLM에만 있는 지표가 낯설다면.

LLM 비용을 숫자로 설명해야 하는 팀장 · 아키텍트
"한 달에 얼마 나와요?", "왜 느려요?"를 감이 아니라 대시보드로 보여 주고 싶다면.

수강 후에는

이해하게 되는 것

  • Spring AI가 남기는 메트릭(gen_ai.client.operation, gen_ai.client.token.usage, db.vector.client.operation, spring.ai.chat.client)이 각각 무엇을 재는지

  • Micrometer 이름이 Prometheus 이름으로 바뀌는 규칙과, 태그로 데이터를 나눠 보는 법

  • 평균 대신 p95를 봐야 하는 이유, 그리고 "요청 1번에 모델 호출 2번"이 생기는 이유

할 수 있게 되는 것

  • 내 Spring AI 프로젝트에 의존성 한 줄 + 설정 몇 줄로 메트릭을 노출한다

  • docker compose로 Prometheus·Grafana를 띄우고, 제공 대시보드를 내 서비스에 그대로 연결한다

  • RAG topK, 프롬프트 길이 같은 설정 변경이 토큰에 주는 영향을 숫자로 비교한다


이렇게 달라집니다

수강 전

수강 후

"한 달에 얼마 나와요?" → "글쎄요, 청구서 나와 봐야…"

"지금 분당 입력 토큰이 이 정도라, 모델 단가로 환산하면 이 정도입니다"

"가끔 느리대요" → 평균 응답 시간은 정상이라 원인 불명

p50과 p95의 간격을 보고 "일부 요청만 느려졌다"를 바로 확인

설정을 바꾼 뒤 이상 없으면 끝

바꾸기 전후의 토큰 그래프를 비교해 비용 영향을 먼저 확인

어디에 쓰이나요?

사내 지식검색 챗봇, 고객센터 상담 봇, 문서 요약·RAG 서비스처럼 Spring Boot 백엔드에서 OpenAI 등 LLM API를 호출하는 모든 서비스의 운영 준비 단계에 쓰입니다. 오픈 전 비용 예측, 오픈 후 비용·성능 감시, 경영진 보고용 지표에 바로 활용할 수 있습니다.

  • Spring Boot Actuator로 Spring AI가 자동으로 남기는 메트릭을 켜고 읽습니다.

  • Prometheus로 메트릭을 모으고, Grafana로 토큰·지연·오류 대시보드를 완성합니다.

  • RAG 설정 하나로 비용이 몇 배가 되는 비용 폭탄 장면을 직접 재현하고 대시보드로 잡습니다.

  • 평균으로 찾기 어려운 항목을 p95를 통해 확인할 수 있습니다.

이 강의를 만든 사람

"머리속의 지식은 지식이 아니다."라는 생각으로 제가 가지고 있는 작은 경험과 지식을 잘 포장하고, 보다 이해하기 쉽도록 설명하기 위해 노력하고 있습니다. Java와 Spring Framework 기술을 기반으로 LLM, AI 분야에도 관심이이어지는 분들이라고 하면 보다 쉽게 이해할 수 있는 강의가 될 것이라고 생각합니다.

  • 26년 동안의 강의, 컨설팅 및 개발 경력을 바탕으로, 실무적인 경험과 노하우를 이해하기 위한 설명으로 강의를 진행하고 있습니다.

  • 아키텍트·엔지니어로서의 현재: GraphRAG 기반 지식 그래프 시스템과 엔터프라이즈 AI 플랫폼을 직접 설계·개발하고 있습니다.

    • 2023 ~ 현재: (주)엔제이원컴퍼니 대표


    • 現) 동국대학교 국제정보대학원 정보보호학과 대우교수

    • 前) JP Morgan Chase AMJ Tech consultant (일본)

    • 前) 삼성 SDS CMS 사업본부 책임 엔지니어

  • 금융권 AI/LLM 프로젝트 수행: AI·LLM 관련 금융권 프로젝트를 재차 수행하며, 신뢰성과 안정성이 특히 중요한 금융 도메인에서 LLM 서비스를 설계·구현하는 실무 경험을 쌓았습니다.

  • 다년간의 MSA·클라우드 네이티브·AI 강의: Spring Boot, Spring Cloud, MSA, Kafka, Blockchain, Machine Learning, Deep Learning, DevOps 분야에서 강의 하고 있습니다.

  • 기업 강의 및 커리큘럼 설계: 클라우드/MSA/보안/AI 과정 등 다수의 기업·부트캠프 커리큘럼을 설계하고 직접 강의해 왔으며, 이론에 그치지 않고 실제 프로젝트 수행 경험을 강의에 녹여내는 것을 원칙으로 삼고 있습니다.

수강 전 참고 사항

실습 환경

  • OS: macOS · Windows · Linux (Windows는 PowerShell 스크립트 별도 제공)

  • 필수: JDK 21 이상, Docker Desktop (Docker Compose v2)

  • 권장 IDE: IntelliJ IDEA (HTTP Client로 실습 요청 실행)

  • LLM: OpenAI API 키 또는 Ollama (무료)

  • 기준 버전: Spring Boot 3.5 · Spring AI 1.0.x

학습 자료

  • 실습 프로젝트 free-llm-monitoring (압축 파일, Github repository 공유)

  • docker-compose, Prometheus 설정, Grafana 대시보드 JSON

  • 실습 요청 모음(.http), 부하 스크립트(bash · PowerShell)

  • 강의 교안 (단계별 명령 · 예상 결과 · 막혔을 때 해결표)

선수 지식 및 유의사항

  • 필수: Spring Boot로 REST API를 만들어 본 경험, 터미널 기본 명령

  • 있으면 좋음: Docker 기본 사용법

  • 필요 없음: Prometheus · Grafana · Spring AI 사전 지식

유의사항

  • OpenAI 사용 시 API 사용료가 발생합니다(실습 전체 기준 소액). 비용 없이 하려면 Ollama를 사용하세요.

  • Ollama를 CPU로 실행하면 응답이 수 초~수십 초 걸릴 수 있습니다. 그래프 수치는 OpenAI와 다르지만 실습 흐름은 같습니다.

  • Spring AI 버전에 따라 메트릭 이름이 다를 수 있습니다. 강의에서 실제 이름을 확인하는 방법을 함께 안내합니다.

이런 분들께
추천드려요

학습 대상은
누구일까요?

  • Spring AI 서비스 오픈을 앞둔 백엔드 개발자

  • Actuator · Prometheus는 써 봤지만 LLM은 처음인 Spring 개발자

  • LLM 비용을 숫자로 설명해야 하는 팀장 · 아키텍트

선수 지식,
필요할까요?

  • Spring Boot로 REST API를 만들어 본 경험

  • 터미널 기본 명령

  • Docker 기본 사용법

안녕하세요
Dowon Lee입니다.

인프런인증

32,255

명

수강생

1,787

개

수강평

1,394

개

답변

4.8

점

강의 평점

11

개

강의

저는 IT 엔지니어입니다. 언젠가 직업란에 "회사원?", "개발자?", "강사?" 어떤 단어를 선택해야 할 지 고민이 되었던 때가 있었습니다. 그러다가, IT 엔지니어라는 표현이 제가 잘 어울리는 직업명이라는 생각이 들어 지금까지도 직업란에는 "IT 엔지니어"라고 적고 있습니다.

직업이라는 것은 자신의 일을 나타내는 것이고, 일이라는 것은 재미있고, 도움이 되는 일이면 좋겠다는 생각을 가지고 있습니다. 누구나 다 원하는대로 일을 하며 살수는 없지만, 저는 제가 하는 있는 이 일을 좋아하는 있고, 잘하고 싶어하는 사람입니다. 개발자로써, 강사로써, 컨설턴트로써의 역할을 해 오면서, 매번 새롭게 출시되고 변화하는 IT 신기술을 따라가기에 급급하지만, 그래도, 남들보다 조금이라도 먼저 접하고, 전파하고, 사용하고 싶은 사람 중 한명입니다. 

최근 관심을 가지고 있는 분야는 온라인 교육 컨설팅입니다. 그리고 관심있는 기술은 Cloud Native Architecture, Blockchain, Machine Learning, Kafka, Kuberbetes 등입니다. 이러한 기술은 실제로 강의도 하고 있고 업무에 적용해서 사용도 하고 있습니다. 하지만, 워낙 방대한 주제이다 보니, 아직까지도 계속 공부하고 있습니다.

머리속에 가지고 있는 것은 진정한 지식이 아니라고 합니다. 저는 제가 가진 지식과 경험을 다양한 방벙을 통해 공유하려 합니다. 그리고, 새로운 분야, 새로운 기술에 계속 도전하고 있는 IT 엔지니어가 될 것입니다.  

 

 

  • 現) 엔제이원컴퍼니 대표 

  • 現) 동국대학교 국제정보대학원 정보보호학과 대우교수

  • 前) JP Morgan Chase AMJ Tech consultant (일본)

  • 前) 삼성 SDS CMS 사업본부 책임 엔지니어

 

 

더보기

커리큘럼

전체

11개 ∙ (1시간 12분)

강의 게시일: 
마지막 업데이트일: 

수강평

아직 충분한 평가를 받지 못한 강의입니다.
모두에게 도움이 되는 수강평의 주인공이 되어주세요!

Dowon Lee님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

무료