inflearn logo
知識共有
inflearn logo

AIが「完了しました」と言うとき — Claude Code検証ハーネス:TDD・回帰ゼロ・QAゲート

AIの「完了しました」をそのまま信じていますか?テスト28件がすべてグリーンなのに、完了報告が嘘だった場面から出発し、ベースライン・回帰比較・テスト改ざん検知・報告との照合・隠しテストを組み合わせたQAゲートを作成。ストップフックにより、Claude Codeがゲートを通過するまで処理を終了できないようにします。

1名 が受講中です。

難易度 初級

受講期間 無制限

Python
Python
Git
Git
TDD
TDD
CI/CD
CI/CD
pytest
pytest
Python
Python
Git
Git
TDD
TDD
CI/CD
CI/CD
pytest
pytest

この講座で身につくこと

  • AIの完了報告を、ベースラインに対する回帰・テストの改ざん・残存物・報告数値を基に数分で検算する

  • 虚偽の完了報告の8類型(未実行・一部のみ実行・スキップ・期待値の変更・ハードコーディング・削除・水増し・残骸)を見分け、何がそれを検出するのかを理解する。

  • Claude CodeにストップフックのQAゲートを設け、通過するまでは終了できないようにし、上限と人による承認ポイントを定める。

  • レッド→グリーンと正常・境界・失敗テストを、プロンプトとClaude MDのルールで徹底し、証拠をレポートに残すようにする。

  • 隠れたテストとプロパティ検査で、公開テストにだけ合格する変更を見つけ出す。

  • 同じ課題を複数回実行する小規模なエージェント評価で、ハーネス導入前後を数値で比較する。

  • 初めて見るリポジトリにハーネスを組み込み、CIでも同じゲートを実行する

完了宣言は仮説、証拠はテスト出力。Claude Codeの「全部終わりました」を一つのコマンドで検算するハーネスを自作し、同じ課題を複数回実行して数値で評価します。

AIの「終わりました」をそのまま信じていますか? テスト28件がすべて緑なのに、完了報告が嘘だった場面から出発し、ベースライン・回帰比較・テスト改ざん検知・報告との照合・隠しテストを組み合わせたQAゲートを作り、StopフックによってClaude Codeがゲートを通過するまでは終了できないようにします。

ハーネスの組み立て方(Claude MD・スキル・サブエージェント)を幅広く扱う講義ではありません。エージェントが完了したと言ったコード変更が本当に完了しているかを判定する、ひとつの問題に集中します。実際のClaude Codeの実行記録と、現場でよく見られる「虚偽の完了」8パターンを再現したサンプルを使い、ゲートが何を検出し、何を見逃すのかを直接測定します。LLMの判定役は使わず、決定論的な検査だけを用います。

この講義を終えると

  • AIの完了報告を、ベースラインとの差分、テスト改ざん、残骸、報告値をもとに数分で検算する。

  • 偽の完了8類型(未実行・一部のみ・スキップ・期待値の変更・ハードコーディング・削除・水増し・残骸)を把握し、それぞれを何が検出するのか理解する。

  • Claude CodeにストップフックQAゲートを設け、合格するまでは終了できないようにし、上限と人による承認ポイントを定める。

  • レッド→グリーンと正常・境界・失敗テストをプロンプト・Claude MDのルールで強制し、証拠を報告に残させる

  • 隠れたテストとプロパティ検査で、公開テストだけに合わせた変更をふるい落とす。

  • 同じ課題を複数回実行する小規模なエージェント評価で、ハーネス導入前後を数値で比較する】【。

  • 初めて見るリポジトリにハーネスを組み込み、CIでも同じゲートを実行する】【。

こんな方におすすめです

  • Claude Codeを業務で使い始めたものの、「完了しました」を信じてよいのか毎回不安な開発者

  • AIで作成された変更をレビューする必要があるリード・シニア開発者

  • ハーネスの講義を受けたものの、検証プロセスをどう数値化すればよいか分からず、行き詰まっている方

カリキュラム(8セクション・44講義・約310分)

  • セクション1. 最初の検算まで — 完成デモ:テストは28件がグリーン、ゲートは2/6、実行ツールなしで任せるとき:「実行できませんでした」を検算する、実習環境:ループマーケットの返品モジュールとロールバック、ベースライン:変更前に何がグリーンなのかを書き出す、完了宣言は仮説:コマンド・出力・終了コード

  • セクション2. 偽の完了の顔 — 顔1: テストを実行せずに「合格」、顔2: 指示されたテストだけ — 今回は無事だった、顔3: テストを修正して合格させる、顔4: 特定の入力だけに合わせる、顔5・6: テストの削除と報告の水増し、偽の完了8類型の分類表

  • セクション3. TDDをAIにやらせる — レッドになる理由を読め:AIが書いたテストも間違っている、グリーンにならないからといって無理に合わせない、正常・境界・失敗の3つ未満はテストではない、バグ修正は再現テストが先、テストを変更するには人間の許可が必要、リファクタリングはグリーンのときだけ

  • セクション4. 回帰ゼロを実現する — 呼び出し元が分からなければ始めない、共通関数を守りながら仕様を変更する、回帰比較を解剖する:失敗・消失・スキップ、隠れたテスト:エージェントに見えない場所に、プロパティテスト:ランダムな注文数千件、シグネチャを変更したか、していないか:呼び出し元で証明する

  • セクション5. QAゲートの作成 — QAゲートの構造:チェックリストをスクリプトに、ステップ1 文法チェック:最も安価な検査から、ステップ3 改ざん検知、ステップ4 残存物検査、ステップ6 レポートの照合とその限界、ゲート結果を1枚にまとめる

  • セクション6.ゲートをエージェントループに — ストップフック:通過するまで終了できない、ブロック回数の上限と人による承認、検証ルールClaude MD:厳格にすると停止する、検証者を分離する:レビュアーエージェントによる却下、完了報告の形式を強制する、それでも残るもの、権限でブロックしたのに突破された:ツール単位の落とし穴

  • セクション7. エージェントを評価する — 1回の成功は運かもしれない:5回実行する、評価セット:課題と隠しテストのペア、指標:成功率・回帰率・改ざん率、そして指標のノイズ、ハーネス導入前後の比較:差が見えないとき、コストと時間も合わせて見る

  • セクション8. チームへの導入とキャップストーン — CIでも同じゲート、CIでは見えないこと、ゲートで検出できないこと:仕様の抜け漏れ、キャップストーン:初めて見るリポジトリにハーネスを組み込む、まとめ:「完了しました」を証拠に変える1枚

実習環境

実習用ZIPのloopmarket-returnsリポジトリ(架空のオンラインショップの注文・返品計算モジュール、Python 3.9以上 + pytest)をダウンロードして実行します。検証ハーネス(ベースライン・回帰比較・改ざん検知・残存物チェック・報告内容の照合・QAゲート・ストップフック・評価スクリプト)、各講のプロンプト、誤った完了を再現するパッチ8個、隠しテスト、キャップストーン用の小さなリポジトリが含まれています。Docker・クラウドは不要です。

前提知識

  • Gitの基本(diff・commit)

  • テストを実行した経験

  • Claude Code(または類似のコーディングエージェント)を一度でも使った経験がありますか?

この講義で扱わないこと

  • Claude Codeのインストール・基本的な使い方

  • Claude MD・Skill・MCP・サブエージェント機能の説明

  • LLMの回答品質評価(ジャッジモデル・埋め込み)

  • テストフレームワークの文法全般

  • レガシーコードにテストを追加する

ご案内

この講義のナレーションは合成音声(AI)で作成しており、画面に表示されているClaude Codeの実行結果は、実際に実行した際の原文です。虚偽の完了を再現するパッチは、教育用に人が作成したサンプルであり、その旨を画面に表示しています。AIの応答文・トークン数・時間は、実行のたびに変わる可能性があります。すべてのデータは教育用の架空データであり、数値は実行環境によって変わる可能性があります。

次のような方に
おすすめです

受講対象

  • Claude Codeを業務で使い始めたものの、「完了しました」を信じていいのか、毎回不安な開発者

  • チームメンバーがAIで作成した変更をレビューする必要があるリード・シニアエンジニア

  • ハーネスの講義を受けたものの、検証の段階をどう数値化すればよいか分からず、行き詰まっている方

前提知識

  • Gitの基本(diff・commit)

  • テストを実行した経験

  • Claude Code(または類似のコーディングエージェント)を一度でも使った経験

こんにちは
dorian05202988です。

経歴認証済み

20年以上にわたりデータベースとIT分野でキャリアを積んできたデータ職人です。DBAおよびDB Platformチームのマネージャーとしてデータベースプラットフォームに携わり、MySQL・PostgreSQL・Oracle・MongoDB、SQLチューニング、AWS・Terraform・Pythonを専門分野としています。ゲーム・金融・ITサービス分野での経験をもとに、データベースとクラウドアーキテクチャについて解説しています。『オラ​​クル実務チューニング SQLパターン学習』と『Oracle Pro*C実務プロジェクト活用書』を出版し、AWS Summit 2018・2019と「データよ、遊ぼう」2020では、サーバーレス・データベースの選択・マルチデータベース戦略について発表しました。最近は、Bedrock LLMを利用したスロークエリの分析・チューニング提案、DBスペック算定の自動化、DBメタMCPサーバーとSlackボットを通じた照会フローを扱っています。開発者向けのデータベース自動化と、非開発者向けのAI業務活用について、各コースの対象者と目的に合わせた実習を通じて解説しています。AIの提案をそのまま適用するのではなく、結果の同一性・実行計画・観測条件を確認し、根拠が不足している場合は保留する判断基準を伝えています。会社の運用データや認証情報は講義資料に含めません。

もっと見る

カリキュラム

全体

44件 ∙ (5時間 9分)

講座資料:

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価が集まっていない講座です。
ぜひ最初のレビューをお寄せください。

dorian05202988の他の講座

知識共有者の他の講座はこちら

似ている講座

同じ分野の他の講座を見てみましょう!

期間限定セール

¥56,320

20%

¥8,950