2025年9月に公表された生成AI関連のインシデント（3件）
2025年9月に一次発表があった、生成AI・AIツールに関わる事例です。原因は一次発表に書かれた範囲だけを載せています。
-
Geminiの3つの機能（Cloud Assist・検索のパーソナライズ・ブラウジング）に、利用者の保存情報や位置情報を持ち出され得る脆弱性（Tenable報告「Gemini Trifecta」）
Tenableは、Geminiの3つの機能に脆弱性があったと公表した。Google CloudのGemini Cloud Assistでは、攻撃者が書き込んだログをGeminiが要約するときに、その中の指示に従ってしまうおそれがあった。検索のパーソナライズのモデルでは、悪意あるWebサイトが閲覧者のChromeの検索履歴に指示を書き込み、Geminiに利用者の保存情報や位置情報を漏らさせ得た。ブラウジング機能では、外部のサイトへのアクセスを使って、それらの情報を攻撃者のサーバーに送らせ得た。
- 原因
- ログ・検索履歴・Webページなど、Geminiが読み込むデータに仕込んだ指示（間接プロンプトインジェクション）と、ブラウジング機能を使った外部への送信（Tenable）。
- 影響
- 公表なし（研究による実証）。
- 当事者の対応
- Googleは3つとも修正した。問題のあったモデルを元に戻し、検索のパーソナライズ機能の強化を続け、多層的なプロンプトインジェクション対策を使っているとした（Tenable）。
- 防ぐには
- 外部から書き込めるデータ（ログ、Webページ、検索履歴など）をAIに読ませるときは、指示が紛れ込み得る前提で扱う。Geminiに保存している個人の情報は、必要なものだけにする。
-
Salesforce Agentforceに、問い合わせフォーム経由の間接プロンプトインジェクションでCRMデータを外部送信させ得る脆弱性「ForcedLeak」（Noma Security報告）
Noma Securityは、攻撃者がWeb-to-Leadフォームに隠した指示を送っておくと、社員が後でそのリードについてAgentforceに尋ねたときに指示が実行され、CRMデータを外部に送らせられる脆弱性チェーンを公表した。外部送信には、CSPの許可リストに残っていた期限切れドメインを使った。深刻度はCVSS 9.4とされた。
- 原因
- 間接プロンプトインジェクションと、許可リストに残っていた期限切れドメイン（my-salesforce-cms.com）を使ったCSPの回避（Noma Security）。
- 影響
- 顧客の連絡先、営業パイプライン、社内のやり取りなどのCRMデータが漏えいし得た。実際の悪用の有無は公表なし。
- 当事者の対応
- Salesforceが2025年9月8日、AgentforceとEinstein AIの出力を信頼できないURLに送らせない『Trusted URLs Enforcement』を実装し、期限切れドメインを確保した（Noma Security）。
- 防ぐには
- 誰でも書き込める入力（問い合わせフォーム等）をAIエージェントが読むときは、その中の指示に従わせない設計にし、出力先URLの許可リストを定期的に点検する。
-
ChatGPTのDeep Researchエージェントに、メール1通でGmailの情報をOpenAI側から外部送信させ得る脆弱性「ShadowLeak」（Radware報告）
Radwareは、ChatGPTのDeep ResearchエージェントをGmailとWeb閲覧に接続している場合、攻撃者がHTMLに見えない指示を仕込んだメールを1通送るだけで、利用者が何もしなくてもエージェントが受信箱の個人情報などを攻撃者のサーバーに送ってしまう脆弱性を公表した。送信はOpenAIのクラウド側から行われるため、利用者の組織側では検知が難しいとしている。
- 原因
- メールのHTMLに隠した指示による間接プロンプトインジェクション（Radware）。
- 影響
- Gmailなど接続したデータの情報が漏えいし得た。Radwareは実際の悪用は確認していないとしている（The Record）。
- 当事者の対応
- Radwareは2025年6月18日にOpenAIへ報告した。報道（The Record）によると、OpenAIは8月上旬までに修正し、9月3日に解決済みとした。
- 防ぐには
- AIエージェントにメールなどの社内データとWeb閲覧を同時に許可するときは、扱うデータの範囲と外部アクセス先を絞る。