inflearn logo
知識共有
inflearn logo

Spring AI LLMコストモニタリング — Actuator一行で作るトークンダッシュボード

Spring AIで作ったチャットボット・RAGサービスがトークンをどれだけ使うのか、どれだけ遅いのか、どれだけ失敗するのかを、数値とグラフで確認する方法を学びます。Spring開発者にはおなじみのActuatorだけで、Spring AIがすでに記録しているメトリクスを取り出し、Prometheus + Grafanaでダッシュボードを作成します。

108名 が受講中です。

難易度 初級

受講期間 無制限

Spring AI
Spring AI
Prometheus
Prometheus
grafana
grafana
spring-boot-actuator
spring-boot-actuator
AI
AI
Spring AI
Spring AI
Prometheus
Prometheus
grafana
grafana
spring-boot-actuator
spring-boot-actuator
AI
AI
Thumbnail

受講後に得られること

  • Spring AIで作成したLLMサービスのトークン使用量・応答時間・エラー率をリアルタイムダッシュボードで確認する方法を学びます。

  • Spring Boot ActuatorでSpring AIが自動的に記録するメトリクスを有効化して読み取ります。

  • Prometheusでメトリクスを収集し、Grafanaでトークン・レイテンシー・エラーのダッシュボードを完成させます。

  • RAG設定一つでコストが何倍にも膨れ上がるコスト爆発の状況を自ら再現し、ダッシュボードで捉えます。

"チャットボットは作ったのですが、運用はどうすればいいですか?" 🤔

最近、企業向けAIプロジェクトのコンサルティングをする中で、同じ質問を何度も受けました。"チャットボットは作ったのですが、運用はどうすればいいのでしょうか?" "どれくらい費用がかかるのかわかりません。" LLMサービスはリクエストごとにコストが異なり、応答に数秒かかることもあり、失敗の原因が自分たちのコードの外にある場合もあります。それなのに、多くのチームは既存のWebサービスと同じ方法でモニタリングし、請求書を受け取って初めて問題に気づきます。

朗報は、Spring開発者ならすでに答えを持っているということです。Spring AIは、最初からMicrometer上で観測データを記録するように作られています。この講義はその事実を出発点として、1時間以内に自分のサービスのトークンダッシュボードを立ち上げることを目標に作られています。

どのような問題を解決しますか?

📌 "このサービスは1か月にいくらかかりますか?"に答えられない→ モデル別・入力/出力別のトークン使用量をリアルタイムグラフで確認する

📌 たまに遅いと言われるが、平均応答時間は正常だ → p95で"遅い5%"を明らかにし、モデル呼び出しとアプリ全体の時間を分けて見る

📌設定を1つ変更しただけで請求額が増えた → topKを1つ変更するだけで入力トークンが約4倍に跳ね上がる場面を実際に再現し、ダッシュボードで捉える

📌 モニタリングを導入するにはコードを大幅に修正する必要がありそうだ → 依存関係を1行追加し、設定を数行 — ビジネスコードはそのまま

Spring AI LLMコストモニタリング

  1. "Actuator一行"戦略 — 新しいツールやSDKを学ぶ必要はありません。Spring AIがMicrometer Observationの上に構築されている点を活用し、すでに使い慣れたActuatorだけで完結させます。

  2. コスト爆弾の再現シナリオ — エラー0件、Health UP、HTTP 200なのにコストだけが何倍にもなる「正常に見える障害」を実際に引き起こしてみます。理論ではなく、場面として記憶します。

  3. そのまま使える完成キット — 実習プロジェクト、docker-compose、GrafanaダッシュボードJSON、負荷スクリプト(bash・PowerShell)をすべて提供します。メトリクス名がSpring AI標準なので、自分のプロジェクトにダッシュボードをそのまま追加できます。

  4. 実際のメトリクス名に基づいて — ドキュメントと実際の出力が異なる部分(例:ChatClientのメトリクス名)を、実習環境で確認した名称でお伝えします。「そのとおりにやったのにグラフが空です」を未然に防ぎます。

このような方におすすめです

Spring AIサービスのリリースを控えたバックエンド開発者

PoCは終わり、サービスのオープンが近づいているのに、「運用指標は何を見ればいいですか?」という質問にまだ答えられないなら。

Actuator・Prometheusは使ったことがあるものの、LLMは初めてのSpring開発者
Spring Boot・Spring Cloudサービスは監視してきたものの、トークン・p95・モデル呼び出し回数のようなLLM特有の指標に馴染みがなければ。

LLMコストを数値で説明する必要があるチームリーダー・アーキテクト
"1か月にいくらかかりますか?"、"なぜ遅いのですか?"を感覚ではなくダッシュボードで示したい方に。

受講後には

理解できること

  • Spring AIが記録するメトリクス(gen_ai.client.operation、gen_ai.client.token.usage、db.vector.client.operation、spring.ai.chat.client)がそれぞれ何を測定するのか

  • Micrometerの名前がPrometheusの名前に変わる規則と、タグでデータを分けて見る方法

  • 平均ではなくp95を見るべき理由、そして"1回のリクエストでモデル呼び出し2回"が発生する理由

できるようになること

  • 自分のSpring AIプロジェクトに依存関係を1行追加+設定を数行するだけでメトリクスを公開する

  • docker composeでPrometheus・Grafanaを起動し、提供されているダッシュボードを自分のサービスにそのまま接続する

  • RAG topKやプロンプトの長さなどの設定変更がトークンに与える影響を数値で比較する


このように変わります

受講前

受講後

"1か月にいくらかかりますか?" → "さあ、請求書が出てみないと…"

"現在、1分あたりの入力トークン数がこの程度なので、モデル単価に換算するとこの程度です"

"たまに遅いそうです" → 平均応答時間は正常なため原因不明

p50とp95の間隔を見て「一部のリクエストだけ遅くなった」ことをすぐに確認

設定を変更した後、問題がなければ完了

変更前後のトークングラフを比較して、コストへの影響をまず確認

どこで使われますか?

社内ナレッジ検索チャットボット、カスタマーセンターの相談ボット、文書要約・RAGサービスのようなSpring BootバックエンドからOpenAIなどのLLM APIを呼び出すすべてのサービスの運用準備段階で使用されます。公開前のコスト予測、公開後のコスト・パフォーマンス監視、経営陣への報告用指標にそのまま活用できます。

  • Spring Boot ActuatorでSpring AIが自動的に記録するメトリクスを有効化し、読み取ります。

  • Prometheusでメトリクスを収集し、Grafanaでトークン・レイテンシー・エラーのダッシュボードを完成させます。

  • RAG設定ひとつでコストが数倍になるコスト爆発の場面を自ら再現し、ダッシュボードで捉えます。

  • 平均では見つけにくい項目をp95によって確認できます。

この講義を作った人

"頭の中の知識は知識ではない。"という考えのもと、自分が持っている小さな経験や知識をうまくまとめ、より分かりやすく説明できるよう努めています。JavaとSpring Frameworkの技術を基盤に、LLMやAI分野にも関心がある方であれば、より理解しやすい講義になると思います。

  • 26年間にわたる講義、コンサルティングおよび開発経験をもとに、実務的な経験とノウハウを理解していただけるよう説明しながら講義を行っています。

  • アーキテクト・エンジニアとしての現在:GraphRAGベースのナレッジグラフシステムとエンタープライズAIプラットフォームを自ら設計・開発しています。

    • 2023年~現在:株式会社エヌジェイワンカンパニー代表取締役


    • 現) 東国大学校国際情報大学院情報保護学科 特遇教授

    • 前) JP Morgan Chase AMJ Tech consultant(日本)

    • 前) Samsung SDS CMS事業本部 責任エンジニア

  • 金融業界におけるAI/LLMプロジェクトの遂行:AI・LLM関連の金融業界プロジェクトを複数回遂行し、信頼性と安定性が特に重要な金融ドメインにおいて、LLMサービスを設計・実装する実務経験を積みました。

  • 長年にわたるMSA・クラウドネイティブ・AI講義:Spring Boot、Spring Cloud、MSA、Kafka、Blockchain、Machine Learning、Deep Learning、DevOpsの分野で講義を行っています。

  • 企業研修およびカリキュラム設計:クラウド/MSA/セキュリティ/AI講座など、数多くの企業・ブートキャンプ向けカリキュラムを設計し、自ら講義を行ってきました。理論にとどまらず、実際のプロジェクト遂行経験を講義に取り入れることを原則としています。

受講前の参考事項

実習環境

  • OS: macOS · Windows · Linux(WindowsはPowerShellスクリプトを別途提供)

  • 必須:JDK 21以上、Docker Desktop(Docker Compose v2)

  • 推奨IDE:IntelliJ IDEA(HTTP Clientで実習リクエストを実行)

  • LLM:OpenAI APIキーまたはOllama(無料)

  • 基準バージョン:Spring Boot 3.5 · Spring AI 1.0.x

学習資料

  • 演習プロジェクト free-llm-monitoring(圧縮ファイル、Githubリポジトリ共有)

  • docker-compose、Prometheus設定、GrafanaダッシュボードJSON

  • 演習リクエスト集(.http)、負荷スクリプト(bash・PowerShell)

  • 講義教材(手順ごとのコマンド・予想される結果・行き詰まったときの解決表)

前提知識および注意事項

  • 必須:Spring BootでREST APIを作成した経験、ターミナルの基本コマンド

  • あると望ましい:Dockerの基本的な使い方

  • 不要:Prometheus · Grafana · Spring AIの事前知識

注意事項

  • OpenAIを使用する場合、API利用料が発生します(実習全体で少額)。費用をかけたくない場合は、Ollamaを使用してください。

  • OllamaをCPUで実行すると、応答に数秒~数十秒かかる場合があります。グラフの数値はOpenAIとは異なりますが、実習の流れは同じです。

  • Spring AIのバージョンによって、メトリクス名が異なる場合があります。講義では、実際の名前を確認する方法も併せて案内します。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • Spring AIサービスのリリースを目前に控えたバックエンド開発者

  • Actuator・Prometheusは使ったことがあるが、LLMは初めてのSpring開発者

  • LLMのコストを数字で説明しなければならないチームリーダー・アーキテクト

前提知識、
必要でしょうか?

  • Spring BootでREST APIを作成した経験

  • ターミナルの基本コマンド

  • Dockerの基本的な使い方

こんにちは
Dowon Leeです。

インフラーン認証

32,255

受講生

1,787

受講レビュー

1,394

回答

4.8

講座評価

11

講座

私はITエンジニアです。以前、いつか職業欄に"会社員?"、"開発者?"、"講師?"のどの言葉を選ぶべきか悩んだことがありました。そこで、ITエンジニアという表現が自分に最も合う職業名だと思い、今でも職業欄には"ITエンジニア"と記入しています。

職業というのは自分の仕事を表すものであり、仕事というのは楽しく、誰かの役に立つものであればよいと思っています。誰もが皆、思いどおりの仕事をしながら生きていけるわけではありませんが、私は自分がしているこの仕事が好きで、うまくできるようになりたいと思っている人間です。開発者として、講師として、コンサルタントとしての役割を果たしながら、次々と新しく発表され、変化していくITの新技術についていくのに精いっぱいではありますが、それでも、誰よりも少しでも早く触れ、広め、使ってみたいと思っている人の一人です。

最近関心を持っている分野はオンライン教育コンサルティングです。また、関心のある技術は Cloud Native Architecture、Blockchain、Machine Learning、Kafka、Kuberbetes などです。これらの技術については実際に講義も行っており、業務に適用して使用もしています。しかし、あまりにも広大なテーマであるため、今でも引き続き勉強しています。

頭の中に持っているだけでは、真の知識とは言えないと言われています。私は、自分が持つ知識と経験をさまざまな方法で共有していきたいと思います。そして、新しい分野や新しい技術に挑戦し続けるITエンジニアであり続けます。

 

 

  • 現) エンジェイワンカンパニー代表

  • 現) 東国大学校 国際情報大学院 情報保護学科 特任教授

  • 前) JP Morgan Chase AMJ Tech consultant(日本)

  • 前) サムスンSDS CMS事業本部 責任エンジニア

 

 

もっと見る

カリキュラム

全体

11件 ∙ (1時間 12分)

講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価が集まっていない講座です。
ぜひ最初のレビューをお寄せください。

Dowon Leeの他の講座

知識共有者の他の講座はこちら

似ている講座

同じ分野の他の講座を見てみましょう!

無料