AIを守るセキュリティの最新情報を参照できるポータルサイトをKDDIが公開 専門家でも苦労する情報と知識の体系化をどう実現した?:AIモデルへの攻撃は新しい研究分野なので論文や情報が整理されていない
AIを守るセキュリティ対策に関する情報を一元化して発信するポータルサイトを公開した。AIモデルへの攻撃は新しい研究分野なので論文や情報が整理されていないという課題を解決するために「知識集約環境」を構築したという。
KDDIとKDDI総合研究所は2025年3月26日、ポータルサイト「AIセキュリティポータル」を公開した。AI(人工知能)自体への攻撃や防御手法に加えて、人や社会にもたらす影響とその対策となる技術について、Web上の最新情報を整理、分類して提供する。
専門家でも苦労する情報と知識の体系化、どう実現した?
AIの社会実装が進む中で、特定の入力に対してのみAIを誤作動させるバックドア攻撃や、大規模言語モデル(LLM)から開発者が意図しない応答を出力させるプロンプトインジェクションなど、AIに対する攻撃や悪用への懸念が高まっている。専門家の間では、AIのリスクの特定、検証や対応に関するセキュリティ技術が検討されているが、AIのセキュリティは新しい研究分野であるため、体系的にまとめられた情報が少なく、多くの論文や研究開発動向を集約する必要があった。AIセキュリティポータルはこうした課題を解決するために構築された。
AIセキュリティポータルを提供するに当たってKDDI総合研究所は「知識集約環境」の構築を担当。同環境は、Web上にあるAIのセキュリティに関する情報や知識、技術を収集して体系化するものだ。LLMを利用した分類技術を導入しており、少量の教師データに基づく検索拡張の手法と、LLMへの入力時に新規ラベルの生成方法を提示する「Few-shotプロンプティング」を用いて、既存、新規それぞれの文献に対するラベル付けが可能だ。
さらに、これまでAIのセキュリティとの関係性が体系的に整理されていなかった、プライバシー侵害や著作権などの権利侵害(外部作用的側面)など、AIが攻撃、悪用された結果によってAIが社会や人にもたらすネガティブな影響の要素の調査、研究を進め、その結果を「AIのセキュリティマップ」としてまとめている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
AIを包括的に保護するツール群「Cloudflare for AI」発表 何をどう守るのか、4つの機能にまとめて紹介
Cloudflareは「Cloudflare for AI」を発表した。AIアプリケーションの可視化やセキュリティ、制御を提供する包括的なツール群で、同社は、AIモデルが直面している緊急性の高い脅威からの保護を可能にするとしている。OpenAI、音声エージェントを強化する新しい3つのモデルをAPIで提供開始 Whisperとは何が違う?
OpenAIは、新しい音声認識モデル「gpt-4o-transcribe」と「gpt-4o-mini-transcribe」および音声合成モデル「gpt-4o-mini-tts」のAPIを提供開始した。AIエージェントによる顧客対応は良いことだけではなかった? 導入によって生まれる新たな課題をGartnerが指摘
Gartnerは2025年3月5日、AIエージェントに関する予測を発表した。AIエージェントが2029年までに一般的なカスタマーサービスの問題の80%を自律的に解決するという。