2024年8月に公表された生成AI関連のインシデント(1件)
2024年8月に一次発表があった、生成AI・AIツールに関わる事例です。原因は一次発表に書かれた範囲だけを載せています。
-
Slack AIに間接プロンプトインジェクションの問題、参加していない非公開チャンネルのデータを引き出せる可能性(PromptArmor報告)
PromptArmorは、同じワークスペースにいる攻撃者が自分だけの公開チャンネルに悪意ある指示を書いておくと、被害者がSlack AIに質問した際にその指示が取り込まれ、被害者の非公開チャンネルにあるAPIキーなどをURLに含めたリンクを表示させられると報告した。Slackは、非常に限定的な条件下で同じワークスペースの攻撃者がフィッシングによりデータを取得できる問題だったとして、2024年8月20日にパッチを適用したと公表した。
- 原因
- Slack AIが公開チャンネルの投稿を文脈に取り込み、その中の指示に従ってしまう間接プロンプトインジェクション(PromptArmor)。
- 影響
- 顧客データへの不正アクセスの証拠は現時点でない(Slack)。PromptArmorは、2024年8月14日からSlack AIがアップロードされたファイルも取り込むようになり、攻撃面が広がったと指摘した。
- 当事者の対応
- 2024年8月20日にパッチを適用(Slack)。PromptArmorによると、報告当初Slackは『意図された動作』と回答していた。
- 防ぐには
- 社内チャットのAI機能が参照する範囲(ファイル取り込みなど)を管理者設定で見直し、AIが提示したリンクを無条件に開かない。