AIが生成する偽のセキュリティインシデント、企業の危機対応を混乱させる新たな脅威

AIが生成する「架空のセキュリティインシデント」が企業を脅かす

ある日、ある企業が「大規模なデータ侵害を受けた」というニュース記事に目を覚ました。記事の内容は具体的で技術的な詳細に満ちており、非常に説得力があった。しかし、実際には侵害は発生しておらず、システムが侵害された形跡も、データが流出した形跡もなかった。その記事は、AI言語モデルがゼロから詳細な内容をでっち上げ、あたかも実在するかのように書き上げたものだった。

企業が状況を把握する前に、信頼できるメディアの記者がその記事を取り上げ、コメントを求めてきた。数時間後には、企業は声明文の作成に追われ、広報チームが架空の事件に対応するために動員される事態となった。

実在しないインシデントが「新たなニュース」として拡散されるケースも

別の事例では、過去に実際に発生したセキュリティインシデントが、AIによって再び「新たなニュース」として拡散された。数年前にある企業がサイバー攻撃を受け、広く報道された。その後、事件は調査され、解決されたが、当時の報道を掲載していたメディアのウェブサイトがリニューアルされ、古い記事のURLが変更された。その結果、検索エンジンがその記事を再インデックスし、AIニュースアグリゲーターが「新たな出来事」として認識したのだ。企業は、既に解決済みの事件について再び問い合わせを受ける羽目になった。

※編集部注：著者らは具体的な事例の詳細を伏せているが、CyberScoopは著者に確認を取り、これらの事例が実際に発生したものであることを確認している。

AIが作成した架空の引用が「事実」として報道されるケースも

さらに別の事例では、サイバーセキュリティ専門メディアが、英国企業に対して約10億ポンドの損失をもたらしたとされる「ビジネスメール詐欺（BEC）」の攻撃について報じた。記事には、著名なセキュリティ研究者の発言が引用されていたが、実際にはその研究者はメディアに取材を受けておらず、AIが研究者の名前を使って架空の発言を生成し、メディアがそれを事実として報道していたのだ。

AIが生み出す「架空の脅威」がもたらす新たなリスク

これら3つの事例は、多くの組織がまだ認識していない新たな脅威を浮き彫りにしている。AIは、技術的な詳細や名前付きの情報源を含む、説得力のあるセキュリティインシデントを「何もないところから」でっち上げ、企業の危機対応を引き起こすほどの信頼性を持って拡散させる能力を持っている。このような脅威を「遠い将来の問題」と捉えている組織は、AIが生成した架空の出来事がいかに早く現実の緊急事態に変わり得るかを、身をもって知ることになるだろう。

「現実が起きてから対応する」という前提が崩壊

従来のサイバー危機対応は、「現実の出来事が発生してから対応する」という前提に基づいていた。しかし、AIシステムは、セキュリティチームが何も確認する前に、主張を生成し、拡散し、正当化する能力を持っている。いったんそのような narrativa（物語）がエコシステムに入り込むと、脅威インテリジェンスフィードやリスクスコアリングプラットフォーム、自動化されたワークフローに取り込まれる可能性がある。こうして、架空の出来事が「シグナル」として扱われ、現実のものとなってしまうのだ。

セキュリティチームにとって、これは新たなタイプの「偽陽性」を生み出す。単なる設定ミスによるノイズの多いアラートではなく、完全に形成された外部の narratives（物語）が信頼性を持って現れるのだ。架空の侵害が報告されると、内部調査や経営陣へのエスカレーション、防御策の実施といった対応が引き起こされる。その結果、実際には何も起きていないにもかかわらず、リソースが浪費されることになる。

さらに深刻なのは、このような架空の narratives（物語）が攻撃者によって悪用される可能性だ。例えば、架空の侵害を引き合いに出すフィッシングメールは、より信頼性が高くなり、IT部門やインシデント対応チームを装ったなりすましも効果的になる。こうして、架空の narratives（物語）自体が新たな攻撃対象面となるのだ。

企業が取るべき対策とは

AIが生成する架空のセキュリティインシデントに対抗するためには、企業は従来の危機対応戦略を見直す必要がある。具体的には、以下のような対策が考えられる。

• AI生成コンテンツの検出技術の導入：AIが生成したテキストを検出するツールを活用し、架空のニュースや報告書を早期に発見する。
• メディアモニタリングの強化：AIニュースアグリゲーターやソーシャルメディア上での架空の narratives（物語）を監視し、拡散前に対応する。
• 社内プロセスの見直し：架空のインシデントに対する反応プロセスを策定し、リソースの浪費を防ぐ。
• 従業員教育の徹底：AIが生成する架空の情報にだまされないよう、従業員に対する教育を強化する。
• 外部パートナーとの連携：セキュリティベンダーやメディアと協力し、架空の narratives（物語）の拡散を防ぐ仕組みを構築する。

AI技術の進化は、サイバーセキュリティの分野に新たな課題をもたらしている。企業は、この新たな脅威に対応するための準備を急ぐ必要がある。