Jenkins와 ArgoCD로 배우는 실전 GitOps CI/CD

안녕하세요, 이도원(Kenneth)입니다.

무료 강의 「Spring AI LLM 비용 모니터링 — Actuator 한 줄로 만드는 토큰 대시보드」를 열었습니다.

왜 이 강의를 만들었나요?

기업 AI 프로젝트를 컨설팅하면서 가장 많이 받은 질문은 이것이었습니다.

"챗봇은 만들었는데, 이거 한 달에 얼마 나와요?"

LLM 서비스는 요청마다 비용이 다르고, 응답에 수 초씩 걸리고, 실패 원인이 우리 코드 밖에 있습니다. 그런데 많은 팀이 일반 웹 서비스처럼 모니터링하다가 청구서를 받고 나서야 문제를 알게 됩니다.

에러 0건, Health UP, HTTP 200. 모든 게 정상으로 보이는데 입력 토큰만 몇 배로 늘어나는 장애는 기존 모니터링으로는 잡히지 않습니다.

이 강의에서 하는 것

• Actuator 한 줄로 Spring AI가 이미 남기고 있는 토큰·지연·오류 메트릭을 꺼냅니다.

• docker compose 한 번으로 Prometheus + Grafana 토큰 대시보드를 띄웁니다.

• 평균 대신 p95로 "가끔 느린 요청"을 찾아냅니다.

• topK 4 → 20 설정 하나로 입력 토큰이 약 4배 뛰는 "정상처럼 보이는 장애"를 직접 재현하고 대시보드로 잡습니다.

비즈니스 코드는 고치지 않습니다. 의존성 한 줄과 설정 몇 줄이면 됩니다.

강의 정보

• 분량: 약 1시간 (실습 포함)

  
  

• 실습 환경: JDK 21 이상, Docker Desktop, OpenAI API 키 또는 Ollama(무료)

• 제공 자료: 실습 프로젝트, docker-compose, Grafana 대시보드 JSON, 부하 스크립트(bash · PowerShell), 단계별 교안

메트릭 이름이 Spring AI 표준이라 실습용 대시보드를 내 프로젝트에 그대로 붙일 수 있습니다. API 키가 없어도 Ollama로 끝까지 따라올 수 있습니다.

이런 분께 추천합니다

• Spring AI로 PoC나 사내 챗봇을 만들고 오픈을 앞둔 백엔드 개발자

• Actuator·Prometheus는 써 봤지만 LLM 서비스에서는 무엇을 봐야 할지 모르는 분

• LLM 도입 비용을 숫자로 보고해야 하는 팀장·아키텍트

더 깊이 가고 싶다면

토큰을 원화 비용으로 바꾸는 커스텀 메트릭, 비용 급증 알림, 요청 한 건을 단계별로 보는 분산 추적(Jaeger)은 『Spring 개발자를 위한 실전 LLM 서비스 개발』 섹션 16에서 이어서 다룹니다.

👉 Spring 개발자를 위한 실전 LLM 서비스 개발

수강하시다가 막히는 부분은 질문 게시판에 남겨 주세요. "따라 했는데 그래프가 비어요" 같은 질문도 환영합니다.

수강평으로 남겨 주시는 의견은 다음 강의를 만들 때 큰 힘이 됩니다.

감사합니다.
이도원 드림

안녕하세요. Spring 개발자를 위한 실전 LLM 서비스 개발 (Part 1) 강의에 새 보충 강의를 추가했습니다. 최근 공개된 TypeSafe AI의 결정 모델 Jev를 Spring Boot 애플리케이션에 연동하는 내용으로, 약 1시간 분량입니다.

왜 추가했나
Section 4에서 entity()로 LLM 응답을 Java 객체로 받는 방법과, 모델이 JSON을 코드펜스로 감싸 파싱이 깨지는 실무 함정을 다뤘습니다. 프롬프트로 부탁하든 entity()로 자동화하든, 결국 LLM에게 형식을 "부탁"하는 방식이라는 한계는 남습니다.
Jev는 접근이 다릅니다. 글을 쓰지 않고, 정해진 보기 중에서 답을 골라 확률과 함께 돌려줍니다. 형식이 구조적으로 보장되는 셈입니다. 같은 입력을 두 방식으로 처리해 보면 "구조화된 출력"을 설계할 때 무엇을 고려해야 하는지가 훨씬 선명해집니다. 그래서 Section 4의 연장선으로 이 내용을 정리했습니다.

무엇을 배우나요

1. Jev와 System One 모델의 개념: 텍스트 대신 "타입이 정해진 결정"을 돌려준다는 것의 의미

2. LLM과 Jev의 차이: 서술형 답안 vs 객관식 답안, 각자 잘하는 일과 못하는 일

3. 세 가지 질문 타입(choice · score · noul)과 /v1/systemone 요청 구조

4. Spring에서 호출하기: RestClient로 Jev API를 호출하고, Java enum으로 보기를 만들어 응답을 타입 안전하게 변환

5. 비교 시연: 같은 영화 리뷰를 entity()와 Jev로 각각 분석해 속도, 형식 오류, 확신도, 일관성 비교

함께 업데이트된 자료

• Section 4 예제 코드(ch4): 리뷰 분석 API 2종(/api/movies/review/llm, /api/movies/review/jev)과 JevClient 추가

• 보충 강의 슬라이드와 교안

• 비교 테스트 스크립트: macOS용 review-compare.sh, Windows용 review-compare.ps1

미리 알아두실 점

• Jev는 Spring AI의 기능이 아니라 TypeSafe AI가 제공하는 별도 외부 서비스입니다. 강의에서도 Spring AI의 ChatClient가 아니라 RestClient로 직접 호출합니다.

• Jev는 현재 얼리 액세스 단계라서 API 키 발급에 대기가 있을 수 있습니다. 예제 코드는 기본적으로 Jev 기능이 꺼져 있어(jev.enabled=false), 키가 없어도 기존 실습은 그대로 진행할 수 있습니다. 키가 없는 분은 영상의 시연을 보시며 개념과 코드 위주로 따라오시면 됩니다.

• 출시 초기 서비스라 이후 가격이나 API가 바뀔 수 있습니다. 변경이 생기면 새 소식으로 다시 안내드리겠습니다.

📌 강의 바로가기: https://inf.run/VVpnV

추가된 강의를 들으시면서 궁금한 점이나 실습 중 막히는 부분이 있으면 댓글로 편하게 남겨주세요. 앞으로도 실무에 바로 쓸 수 있는 내용을 꾸준히 보강하겠습니다.

안녕하세요, 이도원입니다.

"Jenkins 파이프라인은 만들어봤는데, ArgoCD나 GitOps는 개념만 들어봤다."

"dev·staging·production 환경별 배포를 어떻게 설계해야 할지 막막하다."

이런 고민을 하시는 분들을 위해 「Jenkins와 ArgoCD로 배우는 실전 GitOps CI/CD」 강의를 인프런에 오픈했습니다.

이 강의는 이런 점이 다릅니다

• Jenkins 기반의 전통적인 CI/CD를 넘어 ArgoCD 기반 GitOps까지 함께 다룹니다.

• Push 방식(Jenkins)과 Pull 방식(ArgoCD)을 같은 클러스터 위에서 직접 비교합니다. 누군가 kubectl로 수동 변경했을 때 한쪽은 그대로 남고 한쪽은 자동 복구되는 걸 눈으로 확인하고, 롤백과 배포 이력 확인 방식의 차이도 직접 체감합니다.

• 두 방식을 결합해 dev·staging은 Jenkins Push, production은 ArgoCD Pull(수동 Sync 승인)로 나누는 하이브리드 배포 파이프라인을 처음부터 끝까지 만들어봅니다.

• Canary, Blue-Green, RBAC, 승인 절차, 장애 대응, 자동 롤백까지 운영에 필요한 핵심 배포 기술을 실습합니다.

실습 환경

Docker Desktop 하나로 진행합니다. Windows와 macOS 모두 가능하고, AWS 같은 클라우드 계정이나 별도 비용은 필요 없습니다.

이런 분께 추천드립니다

• Jenkins는 써봤지만 ArgoCD/GitOps는 처음인 백엔드·인프라 엔지니어

• Kubernetes 배포를 수동 kubectl apply에서 자동화로 넘어가고 싶은 분

• 배포 승인, 롤백, 감사 추적 같은 운영 요건을 고민하는 DevOps·SRE 담당자

총 러닝타임은 약 10~11시간이며, 실습 자료와 트러블슈팅 가이드도 함께 제공됩니다.

👉 강의 보기: https://inf.run/dEjZE

궁금한 점은 댓글이나 강의 Q&A로 편하게 남겨주세요!