JenkinsとArgoCDで学ぶ実践GitOps CI/CD

こんにちは、イ・ドウォン（Kenneth）です。

無料講座「Spring AI LLMコストモニタリング — Actuatorの1行で作るトークンダッシュボード」を公開しました。

なぜこの講義を作ったのでしょうか？

企業のAIプロジェクトをコンサルティングする中で、最も多く受けた質問はこれでした。

"チャットボットは作ったのですが、これ、1か月にいくらかかりますか？"】【。

LLMサービスはリクエストごとにコストが異なり、応答に数秒かかるうえ、失敗の原因が自分たちのコードの外にあります。それでも多くのチームは一般的なWebサービスのようにモニタリングし、請求書を受け取って初めて問題に気づきます。

エラー0件、Health UP、HTTP 200。すべてが正常に見えるのに、入力トークンだけが数倍に増加する障害は、従来のモニタリングでは検知できません。

この講義で行うこと

• Actuatorを一行でSpring AIがすでに記録しているトークン・レイテンシ・エラーメトリクスを取得します。

• docker compose一度でPrometheus + Grafanaのトークンダッシュボードを起動します。

• 平均ではなくp95で「たまに遅いリクエスト」を見つけ出します。

• topK 4 → 20という設定だけで入力トークンが約4倍に増加する「正常に見える障害」を自ら再現し、ダッシュボードで検知します。

ビジネスコードは修正しません。依存関係を1行、設定を数行追加するだけで済みます。

講義情報

• 所要時間：約1時間（実習を含む）

  
  

• 実習環境：JDK 21以上、Docker Desktop、OpenAI APIキーまたはOllama（無料）

• 提供資料：実習プロジェクト、docker-compose、GrafanaダッシュボードJSON、負荷スクリプト（bash・PowerShell）、ステップ別教材

メトリクス名がSpring AI標準なので、実習用ダッシュボードを自分のプロジェクトにそのまま適用できます。APIキーがなくてもOllamaで最後まで進められます。

このような方におすすめです

• Spring AIでPoCや社内チャットボットを作り、公開を控えているバックエンド開発者

• Actuator・Prometheusは使ったことがあるものの、LLMサービスでは何を見ればよいのか分からない方

• LLM導入コストを数値で報告する必要があるチームリーダー・アーキテクト

さらに深く学びたい方へ

トークンをウォン換算のコストに変換するカスタムメトリクス、コスト急増アラート、1件のリクエストを段階別に確認する分散トレーシング（Jaeger）については、『Spring開発者のための実践LLMサービス開発』セクション16で引き続き扱います。

👉 Spring開発者のための実践LLMサービス開発

受講中に行き詰まった点は質問掲示板に投稿してください。"手順どおりにやったのにグラフが空です"のような質問も歓迎します。

受講レビューとしてお寄せいただくご意見は、次の講義を作る際の大きな励みになります。

ありがとうございます。
イ・ドウォンより

こんにちは。Spring開発者向けの「実践LLMサービス開発（Part 1）」講義に、新しい補足講義を追加しました。最近公開されたTypeSafe AIの決定モデルJevをSpring Bootアプリケーションに連携する内容で、約1時間の講義です。

なぜ追加したのか
Section 4では、entity()を使ってLLMの応答をJavaオブジェクトとして受け取る方法と、モデルがJSONをコードフェンスで囲むことでパースに失敗する実務上の落とし穴を扱いました。プロンプトで依頼するにしても、entity()で自動化するにしても、結局のところLLMに形式を"お願い"する方式であるという限界は残ります。
Jevは異なるアプローチを取ります。文章を書くのではなく、あらかじめ定められた選択肢の中から答えを選び、確率とともに返します。つまり、形式が構造的に保証されるということです。同じ入力を2つの方式で処理してみると、「構造化された出力」を設計する際に何を考慮すべきかが、より明確になります。そのため、Section 4の延長線上にある内容としてまとめました。

何を学びますか

1. JevとSystem Oneモデルの概念：テキストではなく「型が定められた決定」を返すことの意味

2. LLMとJevの違い：記述式回答 vs 選択式回答、それぞれが得意なことと苦手なこと

3. 3つの質問タイプ（choice・score・noul）と/v1/systemoneリクエストの構造

4. Springから呼び出す：RestClientでJev APIを呼び出し、Java enumで選択肢を作成してレスポンスを型安全に変換する

5. 比較デモ：同じ映画レビューをentity()とJevでそれぞれ分析し、速度、形式エラー、確信度、一貫性を比較する

併せて更新された資料

• セクション4のサンプルコード（ch4）：レビュー分析API 2種（/api/movies/review/llm、/api/movies/review/jev）とJevClientを追加

• 補足講義スライドと教材

• 比較テストスクリプト：macOS用review-compare.sh、Windows用review-compare.ps1

あらかじめ知っておいていただきたいこと

• JevはSpring AIの機能ではなく、TypeSafe AIが提供する別個の外部サービスです。講義でもSpring AIのChatClientではなく、RestClientで直接呼び出します。

• Jevは現在アーリーアクセス段階のため、APIキーの発行に時間がかかる場合があります。サンプルコードでは基本的にJev機能が無効になっているため（jev.enabled=false）、キーがなくても従来の演習はそのまま進められます。キーをお持ちでない方は、動画でのデモをご覧いただきながら、概念とコードを中心に学習してください。

• リリース初期のサービスのため、今後価格やAPIが変更される可能性があります。変更があった場合は、新しいお知らせで改めてご案内いたします。

📌講義はこちら: https://inf.run/VVpnV

追加された講義を受講しながら疑問点や実習中に行き詰まった部分があれば、気軽にコメントでお知らせください。これからも実務ですぐに使える内容を継続的に充実させていきます。

こんにちは、イ・ドウォンです。

"Jenkinsパイプラインは作ってみたけれど、ArgoCDやGitOpsは概念を聞いたことがあるだけだ。"

"dev・staging・productionの環境ごとのデプロイをどのように設計すべきか、途方に暮れている。"

このようなお悩みをお持ちの方に向けて、「JenkinsとArgoCDで学ぶ実践GitOps CI/CD」講座をインフランで公開しました。

この講義はこのような点が異なります

• Jenkinsベースの従来型CI/CDを超えて、ArgoCDベースのGitOpsまで一緒に扱います。

• Push方式（Jenkins）とPull方式（ArgoCD）を同じクラスター上で直接比較します。誰かがkubectlで手動変更したとき、一方はそのまま残り、もう一方は自動的に復旧する様子を目で確認し、ロールバックやデプロイ履歴の確認方法の違いも実際に体感します。

• 2つの方式を組み合わせ、dev・stagingはJenkins Push、productionはArgoCD Pull（手動Sync承認）に分けるハイブリッドデプロイパイプラインを最初から最後まで構築します。

• Canary、Blue-Green、RBAC、承認手順、障害対応、自動ロールバックまで、運用に必要な主要デプロイ技術を実践します。

実習環境

Docker Desktopだけで進めます。WindowsとmacOSの両方に対応しており、AWSなどのクラウドアカウントや別途費用は必要ありません。

このような方におすすめです

• Jenkinsは使ったことがあるものの、ArgoCD/GitOpsは初めてのバックエンド・インフラエンジニア

• Kubernetesデプロイを手動のkubectl applyから自動化へ移行したい方

• デプロイ承認、ロールバック、監査証跡などの運用要件について悩んでいるDevOps・SRE担当者

総学習時間は約10～11時間で、実習資料とトラブルシューティングガイドも併せて提供されます。

👉 講義を見る：https://inf.run/dEjZE

ご不明な点は、コメントや講義のQ&Aにお気軽にお寄せください！