IPA「AIセーフティに関するレッドチーミング手法ガイド」改訂 何が変わったのか：RAGを実装したAIシステムを攻撃者の視点から評価
AISIは「AIセーフティに関するレッドチーミング手法ガイド」を改訂したと発表した。改訂では、RAGの仕組みを実装したAIシステムに対して実際にレッドチーミングを実施し、その手順の解説が追加された。
情報処理推進機構（IPA）の機関であるAIセーフティ・インスティテュート（AISI）は2025年4月2日、「AIセーフティに関するレッドチーミング手法ガイド」を改訂したと発表した。同ガイドは2024年9月に初版が公開されており、「具体的な実施例を通してより詳細に理解できるようにした」としている。
なお、AIセーフティ・インスティテュートは、内閣府が2024年2月14日に設立した、AI（人工知能）の安全性の評価手法を検討する機関。IPA内に設置されている。
高い専門性が求められる「攻撃計画、実施」を重点的に解説
同ガイドは「レッドチーミング手法」（AIシステムの開発者や提供者が、対象のAIシステムに施したリスクへの対策を攻撃者の視点から評価する手法）に関する基本的な考慮事項を示している。レッドチーミングの種類や実施方法、実施体制と実施時期などを体系的にまとめており、「実施の決定とレッドチーム発足」から「改善後のフォローアップ」までを15ステップに分けて説明している。
改訂では、RAG（検索拡張生成）の仕組みを実装したAIシステムに対して実際にレッドチーミングを実施し、その手順を解説するとともに、レッドチーミング実施の成果物をまとめている。また、懸念箇所や保護すべき情報資産を洗い出すために使っていたシステム図を更新している。
別紙「詳細解説書」では、本編に沿ってレッドチーミングを実施する際のポイントや各工程での成果物例が解説されている。高い専門性が求められる第2工程（攻撃計画、実施）を重点的に解説しており、AISIは「実際にレッドチーミングを実施した結果から得られた示唆を示すことで、同ガイドをより実践的な資料として拡充させたい」としている。
別添え資料の「成果物例」では、レッドチーミングを実施する際に作成する成果物の一部を例として示している。例えば、本編のステップ6〜8で作成するリスクシナリオや攻撃シナリオの作成例と攻撃シナリオの実施結果が示されている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
AIを守るセキュリティの最新情報を参照できるポータルサイトをKDDIが公開 専門家でも苦労する情報と知識の体系化をどう実現した？
AIを守るセキュリティ対策に関する情報を一元化して発信するポータルサイトを公開した。AIモデルへの攻撃は新しい研究分野なので論文や情報が整理されていないという課題を解決するために「知識集約環境」を構築したという。
AIエージェントによる顧客対応は良いことだけではなかった？ 導入によって生まれる新たな課題をGartnerが指摘
Gartnerは2025年3月5日、AIエージェントに関する予測を発表した。AIエージェントが2029年までに一般的なカスタマーサービスの問題の80％を自律的に解決するという。
AIプロジェクトの主要なデータリスクを軽減するには
データは、AIおよび生成AIプロジェクトの成否を左右する重要な要素だ。本稿では、AIライフサイクルにおけるデータリスクを包括的に評価し、それらを軽減するための7つの推奨事項を紹介する。