検索
ニュース

AIを利用した推薦システムを悪用し、意図的な偽情報が拡散可能 F-Secureリツイートを悪用

F-Secureは、AIを利用した推薦システムの危険性について警告を発した。「AIによる推薦」に関する実験の結果、意図的な偽情報や陰謀論の拡散が可能だった。

Share
Tweet
LINE
Hatena

 F-Secureは2021年6月25日、AI(人工知能)を利用した推薦システムの危険性について警告を発した。同社がソーシャルメディアでAIによる推薦に関する実験をした結果、意図的な偽情報や陰謀論の拡散が可能だった。

画像
F-SecureのWebページから引用

 AIによる推薦システムは、検索エンジンやオンラインショッピングサイト、ソーシャルメディアなどで広く利用されている。最近ではインターネットの影響が大きくなっていることから、こうしたAI推薦システムに対して、意図的な偽情報の拡散など悪用に対する懸念が生じている。

リツイートを悪用することで特定のアカウントを推奨させることが可能

 F-Secureで人工知能研究センターのシニア・リサーチャーを務めるAndy Patel氏は、レコメンドシステムで利用される「協調フィルタリングモデル」にTwitterで収集したデータを学習させた。その後、特定のアカウント間で「リツイート」されたデータ(ポイズンデータ)を用いてモデルを再学習させ、推奨度がどのように変化するかを調べた。

 これは、ソーシャルメディアなどがユーザーに推奨情報を提供する際に採用すると思われる仕組みを簡略化したものだ。

 Patel氏の実験によると、リツイートするアカウントを選択し、リツイートするアカウントの数と公開するリツイートの数を変化させることで、「リツイートが非常に少なくても、特定のアカウントを推奨するようシステムを操作できた」という。同氏は「ソーシャルメディアは、今回の実験と似たような攻撃に直面しているだろう」と語る。

 F-SecureでAI担当バイスプレジデントを務めるMatti Aksela氏は「今後、AIへの依存度が高まっていく中でAIのセキュリティに関する潜在的な課題を認識し、対処することが重要だ」と述べている。

 Patel氏は、今回実施した実験の詳細なレポートと、実験を再現するために必要なコードやデータセットをGitHubで公開している。なお、実験で利用したアカウントの多くはTwitterによって既に停止されているという。

Copyright © ITmedia, Inc. All Rights Reserved.

Security & Trust 記事ランキング

  1. 「Microsoft SQL Server」利用者は要注意 Microsoftが2025年7月の月例セキュリティ更新プログラムを公開
  2. 脆弱性管理の「もやもや」を解消するポイントとは? 識者や担当者の議論に学ぶ、脆弱性管理体制構築のヒント
  3. セキュリティ運用「自動化やAI活用が不可欠」言うは易し――現状プロセスを分析する4つの方法、AIも働きやすくする3つの環境整備ポイント
  4. 「個人」なら手口を知っておくだけでも有効 「情報セキュリティ10大脅威 2025」の解説書をIPAが公開
  5. ドラマでは描かれないセキュリティ対策の現実――ハッカー描写の監修もする上野宣氏が示す「ゼロトラスト」の有効性と移行への3フェーズ
  6. 普通の組織で「脆弱性管理」を始めるには? 日本シーサート協議会WGが解説する4つのステップ
  7. Fortinet、「FortiGate」用OS「FortiOS 7.6.3」からSSL VPNトンネルモードのサポートを終了へ
  8. ゼロトラストはどのくらい有効か 実際のインシデントを基に「防げた経済的損失」をZscalerが算出
  9. なぜ「セキュリティのシフトレフト」が下火になったのか、ネガティブじゃないその理由 Dockerが解説
  10. 全社訓練や漫画などセキュリティ対策を先進するfreee、全てを守ろうとする前に考えたい「積極的諦め」とフレームワーク活用のススメ