AIレッドチーミング 1 - LLMセキュリティ入門と実習環境
rmsxodxod1289
AIセキュリティインシデントとレッドチームの役割を確認し、自分のAWSアカウントにLLMの実習環境を構築します。初回応答のキャプチャから利用状況の確認、リソースの整理までをミッション0のチェックリストに記録します。プロンプトインジェクションの診断演習は第4回に続きます。
入門
Penetration Testing, AWS, AI
エージェントのツール呼び出しとRAGの検索・ドキュメントアクセスにおける権限境界をテストします。実際のモデルと教育用の模擬ツール・ドキュメントを使用して、承認ゲートと検索権限フィルターを観察し、ミッション5・6の診断記録シートを作成します。
12名 が受講中です。
難易度 中級以上
受講期間 無制限
エージェントの過剰な機能・権限・自律性を区別し、正常なツール呼び出しの基準線を定めます。
モデルの主張、ツール呼び出しログ、模擬実行結果を区別して、承認ゲート前後の境界を記録します。
RAGのインデックス汚染、検索候補、モデルに渡された文書、ユーザーに表示された内容を区別して観察します。
条件別の根拠を保存し、承認ゲート・検索権限フィルターのコードと照合して、ミッション5・6の診断記録票を作成します。
講義紹介(0-1)授業の資料ダウンロードボタンから、統合受講生資料ZIPをダウンロードしてください。最新の学習ガイド、校正実習キットと従来のミッション様式、証拠判定事例・解説が含まれています。関連する判定授業の補足ノートと事例も併せて活用してください。
前回の講義は、講師の声をもとに制作したAI合成ナレーションです。実習では実際のAmazon Bedrockモデルを使用しますが、ツール・ドキュメントは教育用の模擬環境です。実際のメール送信やファイル削除は行いません。
AWSの利用料金は受講料とは別途発生し、モデル・リージョン・呼び出し量・ログの保管・維持するリソース、ならびに無料利用条件によって異なります。講義で示す費用は特定の条件における推定例であり、予算アラートは自動的な利用停止ではありません。実習後は使用量を確認し、リソースを整理してください。
中級1のチャットボット応答から、ツールを実行するエージェントへと範囲を広げます。実際のサービスでは、ツールや権限設定によってファイルへのアクセス・下書きの作成・外部リクエストなどの結果が生じる可能性があるため、実行の境界と承認手順が重要です。この講義では実際のモデルと模擬ツール・文書を使用し、実際のメール送信・ファイル削除は行いません。
検索側はさらに静かです。何気ない質問一つで、閲覧権限のない文書が回答に混ざって出てきます。原本には権限が設定されていたのに、インデックス化された際にその権限が引き継がれなかったのです。
違いを生んだのはモデルではなく、モデルの背後に付与されていた権限です。この講義では、脆弱な環境を2つ(vuln-agent・vuln-rag)実際に立ち上げ、ログによってその境界がどこで崩れるのかを証明し、記録シートを2枚残します。
エージェントループが1回のリクエストを複数回の実行に変える構造を、段階に分けて説明できます。
過剰機能・過剰権限・過剰自律の3つの観点を、担当部署ごとに分けて点検質問を作ります
承認ゲートをオンにした条件とオフにした条件をそれぞれ3回実行し、実行がどこで停止するかを記録用紙の11欄に残します。
RAGがインデックス作成時点とクエリ時点で何をモデルの前に置くのかを分け、なぜ汚染がインデックス作成時点ですでに完了しているのかを見ます
vuln-rag画面で、類似度と権限が互いを認識していない箇所を観察して記録用紙の14欄を埋め、ミッション6を提出します
統制を8層に増やし、確率で絞り込む層と結果で決める層を分けて記録します
中級1のミッション4を提出し、これから実行と検索まで範囲を広げようとしているセキュリティ実務者
社内にエージェントやRAGを組み込んでいるものの、権限境界をどこに設けるべきか決められていない開発者
「モデルが答えをでっち上げた」ではなく、「この権限でこの文書が返ってきた」として報告書を書くべき診断担当者
承認ゲートと権限フィルターをコードレベルで確認し、設計の根拠にしたいアーキテクト
エージェントフレームワークの使い方やRAG構築の講義を探している方—実習用バックエンドがループと検索を直接実装しており、そのコードを読みながら理解が深まるポイントを見ていきます
ベクトルデータベースの運用を学びたい方 - 文書の断片10個をメモリ上で計算する構造です
中級1のミッション4を飛ばした方――11マス・14マスの記録紙が8マスの上に貼り付く構造なので、読み取れません。
実際のシステムを対象とした攻撃手順を期待する方へ - 4種類のツールとドキュメントはすべて偽の値であり、ペイロードは掲載していません
全15回。セクションの順序がそのまま学習順序です。
セクション 1 · 講義紹介(1本 · プレビュー 1本)
セクション 2 · エージェント - 実行される瞬間の権限境界(8編 · プレビュー 1編)
セクション 3 · 検索(RAG)- インデックスと権限が食い違う場所(6編 · プレビュー 1編)
実習にはご自身のAWSアカウントと支払い方法の登録が必要です。基礎1でデプロイしたスタックをそのまま使用し、削除してしまった場合は再度デプロイする手順が資料室のREADMEにあります。
AWSアカウントは満18歳以上でなければ作成できません。中高生は保護者のアカウントで実習してください。
AWSのハンズオン費用は、モデル・リージョン・呼び出し量・ガードレール・ログの保管・維持リソースと無料利用条件によって異なります。講義の金額は特定の条件における推定例であり、費用の上限を保証するものではありません。予算アラートは自動停止ではないため、使用量を確認し、ハンズオン後にリソースを整理してください。
私のPCには何もインストールしません。ChromeまたはEdgeブラウザとAWSコンソールだけを使用します。Safariには対応していません。
実習環境の4つのツールとドキュメントはすべてダミー値です。実際のメールが送信されたり、実際のファイルが削除されたりすることはありません。
実習画面に表示されるAWSコンソールの場面の一部は、実際の画面ではなく、手順を図式化したものです。メニュー名と順序は同じです。
ナレーションは講師の声を基に制作したAI合成音声です。
この講義は二つのまとまりで進みます。前半の8回がエージェントで、後半の6回が検索です。エージェント編では、まずループを見ます。モデルがツールを選び、システムがその選択を実際に実行する構造を段階に分けて示し、権限がどこで広がるのかを、過剰機能・過剰権限・過剰自律の三つに分けます。この三つを分ける基準は、手を加える部門です。
ツールを減らす方向、役割を狭める方向、ループに上限を設ける方向は、それぞれ別の担当者が担うため、一つの塊として書くと勧告文がどこにも向かわなくなります。次に、ツール呼び出しの引数が揺らぐ四つのポイントを指摘し、そのうち何がログに残り、何が残らないのかを分けます。
実習は二つの脆弱な環境で行います。vuln-agentは、実際のモデルがツールを選び、引数を入力した後、バックエンドが実行直前で停止して承認カードを送る環境です。まず正常な作業を一件行って基準線を設定し、外部文書を読ませた後、同じリクエストのログを並べて比較します。
承認ゲートを有効にした条件と無効にした条件をそれぞれ3回ずつ実行し、どこで処理が止まるかを確認して、中級1の8項目に3項目を加えた11項目の記録シートに残します。これがミッション5です。vuln-ragは、どの断片がどの程度の類似度で返されたかを画面にそのまま表示します。汚染文書をインデックスに登録した後、同じクエリを入力し、権限の低いクエリ実行者として機密文書を探してみます。ここで14項目の記録シートを埋めれば、ミッション6です。
コード編の第2回では、承認ゲートと権限フィルターを見ていきます。この演習では、サーバー上で権限範囲に基づいて検索候補を制限する実装を使用します。サーバー側で検索した後にフィルタリングする方式も、権限を検証し、モデルのコンテキストや権限のないユーザーに渡される前に権限範囲外の文書を除去するのであれば、アクセス制御として評価できます。回答生成後に画面上で機密部分だけを隠す処理では、権限範囲外の情報がモデル入力に含まれることを防げません。検索候補、許可されたコンテキスト、最終応答を区別して根拠を残してください。
最後に、前の講義で扱った制御と設定の点検を踏まえ、権限設計・承認ゲート・ロギングの役割を整理します。層が一つずつ加わるたびに、判断の主体はモデルからコードや設定へと移っていきます。ペイロードや回避手法は、この講義では一切扱いません。教えるのは、突破するための文言ではなく、権限境界がどこで崩れたのかをログで証明する方法です。そのため、提出物は記録用紙2枚です。
構成は全15回で、複数の条件を比較して記録する実習が含まれます。実習の3回分はブラウザを2つ開いたまま進める区間なので、条件ごとの実行・根拠の保存・ロールバックに必要な時間を別途確保してください。
脆弱な環境を2つ直接開き、ツール呼び出しのログと検索の根拠を目で確認します
承認ゲートと権限フィルターをコードレベルで確認し、遮断する箇所がサーバーの分岐であることを指摘します
同じ観察を3回繰り返し、条件も併せて記載して初めて、完結した診断とみなします。
記録用紙が中級1の8マスから11マス、さらに14マスへと増えていきます
ペイロードと回避技法は掲載せず、判定根拠のみを扱います
扱う分野 - ペネトレーションテスト・オフェンシブセキュリティの観点から見た人工知能(AI)セキュリティ、LLMベースのAI Agent(エージェント)とRAGの攻撃対象領域
受講を終えると、エージェント記録シート(11項目)とRAG記録シート(14項目)の2枚が残り、統制は8層に広がります。承認ゲートにおける実行前チェックと、モデルコンテキスト・応答の引き渡し前に行う権限チェックを、コードとログで区別します。
全7回が公開されています。初めて取り組む場合は、1~3回で環境、攻撃対象領域マップ、脅威モデル書を準備したうえで、診断演習へ進んでください。前の課程の成果物は後の課程で再利用します。
第2編は、第1編のミッション0を完了していることを前提とします。第4編には、第1編の環境と第3編のミッション3の脅威モデル書が必要です。第6編には、第1編の環境と第4編の記録シートの作成経験が必要ですが、第5編は必須の前提ではありません。各編の前提条件と実習の準備物を先に確認してください。AWSの利用料は受講料とは別です。
受講対象
エージェント・RAGの実行権限とデータアクセスを診断するセキュリティ実務担当者
承認手続きと検索権限フィルターを設計・レビューする開発者・アーキテクト
前提知識
第4講のミッション4の診断記録用紙の作成経験と、第1講で配布した実習環境が必要です。第5講は必須の先行講義ではありません。実習キットのエージェント・RAGツールを使用し、ツールと文書は模擬データです。
経歴認証済み
模擬ハッキングから出発し、情報セキュリティ管理体制を構築する実務者です。
完成車メーカーとエネルギー企業の年間セキュリティ診断を担当し、インフラ・Web・アプリケーションを
層ごとに診断し、同じ顧客企業のISMS-P認証を初回・事後・更新の3回にわたって
対応し、技術的保護対策の領域を単独で担当しました。
現在は、一人で担う情報保護担当者として初回認証取得の準備を進めながら、AIセキュリティガバナンス
体制を設計しています。基準がまだ形成途上にある領域であるため、統制対象の定義から
自ら構築しなければならない立場です。
情報セキュリティ技師・CPPG・ISO/IEC 27001審査員補の資格を保有しており、東国大学の国際情報保護
大学院の人工知能セキュリティ学科で、AI環境における情報漏えい経路と認証基準の照合を研究しています。
経験5年9か月。顧客企業名と実際に発見した脆弱性は秘密保持の対象であるため、講義では
取り扱いません。
全体
15件 ∙ (2時間 20分)
講座資料:
知識共有者の他の講座はこちら
同じ分野の他の講座を見てみましょう!