IPA「AIセーフティに関するレッドチーミング手法ガイド」改訂　何が変わったのか：RAGを実装したAIシステムを攻撃者の視点から評価

AIセーフティに関するレッドチーミング手法ガイドの概要（提供：IPA）

　同ガイドは「レッドチーミング手法」（AIシステムの開発者や提供者が、対象のAIシステムに施したリスクへの対策を攻撃者の視点から評価する手法）に関する基本的な考慮事項を示している。レッドチーミングの種類や実施方法、実施体制と実施時期などを体系的にまとめており、「実施の決定とレッドチーム発足」から「改善後のフォローアップ」までを15ステップに分けて説明している。

　改訂では、RAG（検索拡張生成）の仕組みを実装したAIシステムに対して実際にレッドチーミングを実施し、その手順を解説するとともに、レッドチーミング実施の成果物をまとめている。また、懸念箇所や保護すべき情報資産を洗い出すために使っていたシステム図を更新している。

　別紙「詳細解説書」では、本編に沿ってレッドチーミングを実施する際のポイントや各工程での成果物例が解説されている。高い専門性が求められる第2工程（攻撃計画、実施）を重点的に解説しており、AISIは「実際にレッドチーミングを実施した結果から得られた示唆を示すことで、同ガイドをより実践的な資料として拡充させたい」としている。

　別添え資料の「成果物例」では、レッドチーミングを実施する際に作成する成果物の一部を例として示している。例えば、本編のステップ6〜8で作成するリスクシナリオや攻撃シナリオの作成例と攻撃シナリオの実施結果が示されている。