inflearn logo
知識共有
inflearn logo

AIレッドチーミング 4 - プロンプトインジェクションを直接突破する

1つの応答だけで診断結果を断定しないよう、入力条件・反復結果・エラー・ログを照合します。直接・間接的なプロンプトインジェクションを観察し、根拠を添えたミッション4の診断記録票を1件作成します。実習環境が1つと、脅威モデル書が3つ必要です。

1名 が受講中です。

難易度 中級以上

受講期間 無制限

Penetration Testing
Penetration Testing
AWS
AWS
AI
AI
prompt engineering
prompt engineering
LLM
LLM
Penetration Testing
Penetration Testing
AWS
AWS
AI
AI
prompt engineering
prompt engineering
LLM
LLM

受講後に得られること

  • 直接・間接プロンプトインジェクションの侵入経路と結果を区別します。

  • モデル呼び出しパラメータと入力組み立て部分から、攻撃成立条件を探します。

  • 条件を固定して繰り返し、変更した条件は別途比較し、完了した評価とエラーを区別して記録します。

  • 未観測と構造的な該当なしを区別し、入力・根拠・判定のつながりが明確になるミッション4の診断記録票を作成します。

一度出た回答を報告書に転記する前に

同じ文書と質問を入力しても、モデルの応答は異なる場合があります。その中から目立つ応答を一つ選んで診断結果として記載すると、どのような条件で得られた結果なのかが抜け落ちやすくなります。

入力条件を記録し、同じ条件で繰り返したうえで、モデルの応答とログを並べて確認します。途中で発生したエラーは、完了した評価と区別します。現象を確認できなかった場合と、該当する機能自体が存在しない場合も別々に記載します。こうして確認した根拠を集め、ミッション4の診断記録票を1件作成します。

直接・間接プロンプトインジェクションの成立条件を確認し、モデル呼び出しと入力組み立てコードを読む回が含まれます。回避文やペイロードの一覧は提供しません。実習には、1編で準備した環境と、3編のミッション3脅威モデル書が必要です。初めて始める場合は、1~3編の基礎課程を受講してから進んでください。

受講資料と実習案内

講義紹介(0-1)の授業資料ダウンロードボタンから、統合受講生資料ZIPを入手してください。最新の学習ガイド、修正実習キット、既存のミッション様式、証拠判定の事例・解説が含まれています。関連する判定授業の補足ノートと事例も併せて活用してください。

前のレッスンは、講師の声を基に作成したAI合成ナレーションです。実習では実際のAmazon Bedrockモデルを使用し、ツール・ドキュメントは教育用の模擬環境です。実際のメール送信やファイル削除は行いません。

AWS利用料は受講料とは別途で、モデル・リージョン・呼び出し量・ログの保管・維持リソースと無料利用条件によって異なります。講義の費用は特定の条件における推定例であり、予算アラートは自動停止ではありません。実習後は使用量を確認し、リソースを整理してください。

受講前の確認事項

  • 実習にはご自身のAWSアカウントと支払い方法の登録が必要です。基礎1でデプロイしたスタックをそのまま使用し、削除してしまった場合は再度デプロイする手順が資料室のREADMEにあります。

  • AWSアカウントは満18歳以上の方のみ作成できます。中学生・高校生は保護者のアカウントで実習してください。

  • AWSの実習費用は、モデル・リージョン・呼び出し量・ガードレール・ログの保管・維持リソースおよび無料利用条件によって異なります。講義内の金額は特定の条件に基づく推定例であり、費用の上限を保証するものではありません。予算アラートは自動的に利用を停止するものではないため、使用量を確認し、実習後はリソースを整理してください。

  • 自分のPCには何もインストールしません。ChromeまたはEdgeブラウザとAWSコンソールのみを使用します。Safariには対応していません。

  • 実習画面に表示されるAWSコンソールの場面の一部は、実際の画面ではなく、手順を移した図解です。メニュー名と順序は同じです。

  • ナレーションは講師の声をもとに制作したAI合成音声です。

講義内容の詳細

プロンプトインジェクションの成立条件とパラメータ・コード単位

前の3回はその骨格です。インジェクションが従来のインジェクション攻撃と何が異なるのかを見て、直接的なものと間接的なものを入口と結果で分けた4マスのグリッドに配置し、システムプロンプトだけでは境界を保証するのが難しい理由をコードで確認します。中央の2回では、倍率を1段階ずつ下げていきます。1-4は呼び出し1行です。

converseが実際に送信する5つの塊を展開し、maxTokensで途切れた応答とtemperatureによって生じた揺らぎを見分ける方法を見ます。同じペイロードを温度0.2と0.8でそれぞれ3回ずつ入力し、再現率がどのように分かれるのかを実際に測り直すミニ実習がここにあります。1-5は関数です。組み立て部分が積み重ねる5つの断片を読み、先ほど覚えた成立条件3つがコードのどの行で作られているのかを対応表でつなぎます。

実習・直接突破して記録する

後半の4回は実習と整理です。攻撃対象領域を地図に描いた後、実際にインジェクションを観察し、間接インジェクションを3回繰り返して診断記録用紙の8項目を埋めます。これがミッション4であり、後の講義に登場する11項目・14項目の記録用紙は、すべてこの8項目から発展します。統制ONの0/3は、該当条件が未観測であることを示し、「該当なし」は機能・経路の不在を示す構造的根拠がある場合に使用します。エラーは不成立として数えず、判定事例と併せて確認します。最後の回では、何によって防ぐのかを統制の層として整理しますが、その層には一つ抜けているものがあります。設定です。その話は中級2で続けます。

実行結果を記録しながら進める

実習では入力条件と応答、ログを一緒に保存します。エラーが発生した実行は別途表示し、判断を裏付ける記録の場所を記載してください。動画の視聴以外に、環境を実行して記録用紙を作成する時間が必要です。

前の課程の環境と記録用紙を引き続き使用します

初めて始める場合は、1〜3編で実習環境と基礎概念、脅威モデル書を準備してから、4編に進んでください。4編では、1編の環境と3編のミッション3の脅威モデル書を使用します。

エージェントとRAGを扱う6編では、1編の環境と4編の記録シートの作成経験が必要です。5編は6編の必須の前提講座ではありません。基礎知識があっても、各編で必要とされる環境と記録シートが準備できているか確認してください。

各講義の現在の価格と実習条件は、上記のリンクからご確認いただけます。AWSの利用料金は受講料とは別途かかります。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • LLM診断の再現手順と根拠を残さなければならないセキュリティ実務者

  • プロンプトインジェクションとアプリケーション制御をコードと可観測性でつなごうとする開発者

前提知識、
必要でしょうか?

  • 第1講の実習環境と、第3講のミッション3の脅威モデル書を準備してください。モデル呼び出しとバックエンドコードを読む回があり、別途コードを書く課題はありません。是正実習キットと証拠判定の補足資料を併せて使用します。

こんにちは
rmsxodxod1289です。

キャリア認証

模擬ハッキングから出発し、情報セキュリティ管理体制を構築する実務者です。

完成車メーカーとエネルギー企業の年間セキュリティ診断を担当し、インフラ・Web・アプリケーションを

層ごとに診断し、同じ顧客企業のISMS-P認証を初回・事後・更新の3回にわたって

対応し、技術的保護対策の領域を単独で担当しました。

現在は、一人で担う情報保護担当者として初回認証取得の準備を進めながら、AIセキュリティガバナンス

体制を設計しています。基準がまだ形成途上にある領域であるため、統制対象の定義から

自ら構築しなければならない立場です。

情報セキュリティ技師・CPPG・ISO/IEC 27001審査員補の資格を保有しており、東国大学の国際情報保護񟿿

大学院の人工知能セキュリティ学科で、AI環境における情報漏えい経路と認証基準の照合を研究しています。

経験5年9か月。顧客企業名と実際に発見した脆弱性は秘密保持の対象であるため、講義では

取り扱いません。

もっと見る

カリキュラム

全体

10件 ∙ (1時間 29分)

講座資料:

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価が集まっていない講座です。
ぜひ最初のレビューをお寄せください。

rmsxodxod1289の他の講座

知識共有者の他の講座はこちら

似ている講座

同じ分野の他の講座を見てみましょう!

期間限定セール

¥1,962

67%

¥6,066