AIレッドチーミング 1 - LLMセキュリティ入門と実習環境

なぜこの講義なのか

社内AIアシスタントがメールを1通読んで社内文書を外部に送信し、コーディングエージェントが本番DBを削除し、チャットボットの会話共有リンクが検索エンジンに拾われました。2025年に実際に起きたことで、いずれもモデルが間違えたことによる事故ではありません。

しかし、こうしたシステムの点検を任されると、似たようなところで行き詰まります。Web診断ツールはLLMには適しておらず、論文やニュースはたくさんあるのに、どこから手を付ければよいのか分からず、実習環境を整えるだけで疲れ果ててしまいます。

この講義は、その3つの地点から始めます。概念は判定に必要な分だけ扱い、残りの時間は皆さんのAWSアカウントに実習用バックエンドをコマンド1行で立ち上げ、実際のモデルに質問を投げかけ、同じ質問が一度は阻止され、もう一度は漏れる場面まで確認します。

この講義を終えるとできること

• AIが従来のウェブセキュリティ方式では検査されない理由は、実際に起きた3件のインシデントの構造から説明できます。

• ハッカー・侵入テスター・レッドチーム・バグバウンティがそれぞれ何をする職種なのかを区別します

• OWASP LLM Top 10・OWASP Agentic Top 10・AI基本法・ISMS-Pの4つの基準を、いつどれを取り出して使うべきかが分かります

• 自分のAWSアカウントにAPI Gateway + Lambda + Amazon Bedrockの実習バックエンドをコマンド1行で構築し、コストアラートを設定し、削除します

• ブラウザから実際のモデルに初めて自然言語のクエリを送り、応答をキャプチャしてミッション0を提出します

このような方におすすめです

• AIセキュリティとは何かを初めて耳にする開発者・セキュリティ担当者・学生

• Web脆弱性診断は行ったことがあるものの、LLM診断をどこから始めればよいかわからないセキュリティ実務者

• AIサービスを開発・導入する際に、何が危険なのか把握できていない企画担当者・PM

• 履歴書に載せるAIセキュリティ実習の成果物が必要な就職準備生

▶ ビジュアル資料用スペース · basic1-02-path.png - 対象別の学習経路と成果物

このような方には向いていないかもしれません

• 機械学習の数学やモデルの学習方法を学びたい方 - 数学は登場せず、モデルも作成しません

• 攻撃ペイロードや回避手法の一覧を得たい方 - このシリーズでは判定根拠を扱い、ペイロードは掲載しません

• AWSアカウントを作成できない方 ― 実習用バックエンドをご自身のアカウントに構築するため、18歳未満の方は保護者のアカウントが必要です

• この講義1本でプロンプトインジェクションの実習まで終えたい方へ - 自分で突破する実習は第4講（中級1）からです

講義の流れ - 概念 → 環境構築 → 最初のクエリ → 突破される場面

全15回・89分。セクションの順序がそのまま学習順序です。

• セクション 1 · 講義紹介（1本 · 3分 · プレビュー 1本）

• セクション2 · 第1部 · AIセキュリティとレッドチーム、なぜ今なのか（7編 · 40分）

• セクション3 · 第2部 · 自分のAWSアカウントに実習用バックエンドを構築する（7編 · 46分 · プレビュー3編）

受講前の確認事項

• 実習にはご自身のAWSアカウントと支払い方法の登録が必要です。無料アカウントで十分であり、カードを登録しただけで料金が発生することはありません。

• AWSアカウントは満18歳以上の方のみ作成できます。中学生・高校生は保護者のアカウントで実習してください。

• 実習費用は全体を通して行っても1ドルを超えません。基本モデル（Amazon Nova 2 Lite）の場合、質問1回あたり2ウォン前後で、講義内で予算アラートと削除手順まで扱います。使用量によって異なる場合があります。

• 私のPCには何もインストールしません。ChromeまたはEdgeブラウザとAWSコンソールだけを使います。Safariには対応していません。

• 2-3・2-4・2-6回のAWSコンソール画面の一部は、実際の画面ではなく手順を移した図解です。メニュー名と順序は同じです。

• ナレーションはTTS音声です。

▶ 視覚資料用スペース · basic1-03-cost.png - 実習全体を実行しても1ドルに満たない理由

講義内容の詳細

第1部 · AIセキュリティとレッドチーム、なぜ今なのか

前の1部では、AIが突破されるとはどういう意味なのかを、実際に起きた3件の事故の構造から確認し、レッドチームという言葉がどこから来たのか、ハッカー・侵入テスター・レッドチーム・バグバウンティがそれぞれどう違うのか、そしてAIセキュリティがなぜ今、新たな分野になったのかを見ていきます。判定の根拠となるOWASP LLM Top 10とAgentic Top 10、AI基本法、ISMS-Pの4つの基準もここでまとめて整理します。この4つは、後の講義でも繰り返し取り上げることになります。

▶ ビジュアル資料用 · basic1-01-stack.png - ブラウザからモデルまでの4つの区画 - CloudFormationスタック1つが中央の2つを作ります

第2部 · 自分のAWSアカウントに実習バックエンドを構築する

第2部は実習環境です。CloudShell・Lambda・API Gateway・Bedrockという見慣れない名前をオンプレミスサーバーの構成になぞらえてまず読み解いたうえで、皆さんのAWSアカウントにコマンド1行で実習用バックエンドを構築します。画面はブラウザで開くHTMLが3つで、モデルは皆さんのアカウントのAmazon Bedrockなので、講義が終わっても環境は残り、以降の講義すべてがこの上で動きます。

最初の自然言語クエリを投げ、実際にモデルが回答する画面をキャプチャするところまでがミッション0で、費用を確認してスタックを削除するところまでが実習です。最後の回では、同じ文書に同じ質問を入力したのに、一度は阻まれ、もう一度は漏れてしまう場面をお見せします。なぜそうなるのかは、中級1で実際に突破しながら確認します。

構成と学習方法

構成は全15回・89分で、1回が5分から7分ほどなので、通勤・通学の途中に1本ずつ見るのに適しています。第1部の8回は概念編なのでどこでも視聴でき、第2部の7回はAWSコンソールを開いて実際に操作する区間なので、PCの前で20分程度確保してください。各回には入門・基本・応用の表示が付いているため、飛ばす箇所を選ぶことができ、ミッション0は資料室のチェックリスト様式にそのまま記入すれば提出物が完成する構成です。

実習中に行き詰まる箇所は、2-6回目の問題解決表にエラーメッセージごとに整理してあります。そこにない場合は、質問掲示板にエラーの原文を貼り付けてください。

▶ 視覚資料の位置 · basic1-04-outcome.png - 基礎1を終えると手元に残る三つ

次の講義

この講義は全7講シリーズの第1講です。基礎2では、AIがどのように動作するのかを攻撃者が知っておくべき範囲に絞って学び、基礎3ではレッドチームの仕事の進め方に沿って脅威モデルを描いたうえで、中級から実際に突破していきます。どこまで受講するかは、1-1時限目の学習経路表から選べます。

講義の特徴

• モック画面ではなく、皆さんのアカウントの実際のモデルを使います。同じ質問への回答が変わる非決定性を、最初から体験します。

• ミッション0から8まで、シリーズ全体を通して番号が一貫して続く成果物体系です

• 実習環境はCloudFormationスタック1つなので、deploy.shの1行で構築し、destroy.shの1行で削除します。

• 判定根拠としてOWASPの2つのリストと国内の法規・認証基準を併記します

• 扱う分野 - 模擬ハッキング・オフェンシブセキュリティの観点から見る人工知能（AI）セキュリティ入門、LLMの動作とプロンプトエンジニアリングの基礎、AWS実習環境

受講を終えると

受講を終えると、三つのものが手元に残ります。皆さんのアカウントに構築された実習用バックエンドが一つ、実際のモデルが返した最初のクエリのキャプチャが一枚、そして突破される場面を一度目にした経験です。インストールは不要ですが、AWSアカウントと支払い手段が必要です。実習費用は、全体を通して実行しても1ドルを超えません。

シリーズ「自分で突破してみるAIレッドチーミング」第7講義

• AIレッドチーミング 1 - LLMセキュリティ入門と実習環境 ← この講義

• AIレッドチーミング 2 - LLMの動作原理と攻撃対象領域

• AIレッドチーミング 3 - レッドチームの業務と脅威モデリング

• AIレッドチーミング 4 - プロンプトインジェクションを直接突破する

• AIレッドチーミング 5 - 抜け落ちた設定1つが開く攻撃

• AIレッドチーミング 6 - エージェントとRAGを突破する

• AIレッドチーミング 7 - 制御設計とレッドチーム報告書

前の講義のミッション成果物が後の講義の材料となる構成のため、番号順に公開され、未公開の講義は順次公開されます。