ChatGPTなどのLLMを狙う「プロンプトインジェクション攻撃」「データポイズニング攻撃」とは？　NCSC：機械学習モデルにも、サイバーセキュリティ原則の適用が不可欠

　LLMの普及とともに悪意あるプロンプトインジェクション攻撃によるリスクは増大している。NCSCは2023年8月末時点で、プロンプトインジェクション攻撃のリスクを取り除く安全なセキュリティ対策はないとし、リスクの高いシステムにLLMを導入する場合はシステムの設計を注意深く検討し、事前の注意が必要とした。

データポイズニング攻撃とは

　一般的に機械学習（ML）モデルはトレーニングに使用されるデータが良質なものかどうかが重要となる。LLMも同様だが、LLMの学習データはオープンインターネットから、不正確なものや攻撃的なものも含めて膨大な量が収集されている。

　これらの情報を改ざんし、セキュリティとバイアスの両面で望ましくない結果を生み出そうとするのがデータポイズニング攻撃だ。NCSCによると、近年の研究では、学習データのごく一部にアクセスするだけで、極めて大規模な言語モデルを汚染可能だと実証されているという。

LLMの利用を検討する企業が次になすべきことは？

　ここ数カ月の間に、他のMLシステム、ツール、ワークフローに関する脆弱性やセキュリティインシデントも報告されている。NCSCはこれらの多くが、確立されたサイバーセキュリティの原則を大規模言語モデルの開発や利用に適用することで軽減できるとし、以下の4つを検討すべきとした。

インターネットからダウンロードしたコード（モデル）を実行する前に検討する

　MLプロジェクトでは事前トレーニング済みのモデルをダウンロードし、それを自分のプロジェクトに統合する場合、そのモデルのコードが安全であるかどうかを検討する必要がある。リスク軽減のために以下のオプションを検討すべきだ。

• 異なるシリアル化形式を使用する
• Pickleスキャンツールを使用する
• 標準的なサプライチェーンセキュリティを適用する

インターネットからダウンロードしたコード（パッケージ）を実行する前に検討する

　MLプロジェクトや他のソフトウェア開発プロジェクトにおいて、外部のパッケージやライブラリをダウンロードし、プロジェクトに組み込む場合でも、パッケージが安全で信頼性が高いかどうかを検討する必要がある。

公表されている脆弱性を常に把握し、ソフトウェアを定期的にアップグレードする

　リリースバージョンが最新であることを確認するのが重要だとした。

ソフトウェアパッケージの依存関係を理解する

　攻撃者は依存関係を混乱させ、開発者が信頼できないソースから誤ってパッケージを取得することを悪用するため、ソフトウェアパッケージの依存関係を理解しておくことが重要だ。

　AIの状況が急速に変化する中で、サイバーセキュリティの衛生状態を良好に保つことが、MLのコンポーネントが含まれているかどうかにかかわらず、全てのシステムを保護する最善の方法だ。「セキュア・バイ・デザイン」や「セキュア・バイ・デフォルト」、アクセス制御、ソフトウェアアップデートの適用、優れたサプライチェーンセキュリティの取り組みが重要だと、NCSCは述べている。