2025年8月に公表された生成AI関連のインシデント(5件)
2025年8月に一次発表があった、生成AI・AIツールに関わる事例です。原因は一次発表に書かれた範囲だけを載せています。
-
Anthropic、Claude Codeを使って少なくとも17組織からデータを盗み恐喝した事例などを検知・遮断したと公表
Anthropicの脅威報告(2025年8月)によると、サイバー犯罪者がClaude Codeで偵察、認証情報の収集、ネットワークへの侵入を自動化し、医療、緊急サービス、政府・宗教機関などの少なくとも17組織からデータを盗み、公開すると脅して身代金を要求した。要求額は50万ドルを超えることもあった。同じ報告は、北朝鮮の工作員がClaudeを使って米大手テック企業のリモート職を得ていた事例や、Claudeでランサムウェアを開発・販売していた事例も挙げている。
- 原因
- Claude Codeの悪用(Anthropic)。
- 影響
- 少なくとも17組織(組織名は公表なし)。
- 当事者の対応
- 関連アカウントの停止、専用の分類器と新しい検知方法の構築、技術的な指標を関係当局と共有。
- 防ぐには
- 暗号化を伴わない『盗んで公開すると脅す』型の恐喝も想定し、データの持ち出し検知とアクセス権限の最小化を進める。
-
ビルドツール「Nx」の悪意ある版がnpmに公開、ローカルのAIツールを使って機密情報を探す処理を含む
ビルドツールNxと関連プラグインの悪意ある版がnpmに公開され、インストール時に実行されるスクリプトがファイルを探して認証情報などを集め、被害者のGitHubアカウントに『s1ngularity-repository』を含む名前の公開リポジトリを作って送り出した。Nxの事後報告によると、このスクリプトはClaudeやGeminiなどのローカルAIツールを使おうとした。
- 原因
- GitHub ActionsのPRタイトル検証ワークフローにコマンドインジェクションの欠陥があり(pull_request_targetで高い権限で実行)、それを足がかりにnpmの公開用トークンが盗まれた(Nxのセキュリティ勧告)。
- 影響
- 影響版はnx 20.9.0〜20.12.0、21.5.0〜21.8.0と一部プラグイン。漏えいした件数はこの勧告では公表なし。
- 当事者の対応
- 悪意ある版の削除、npmへの公開を2FA必須とtrusted publishingに変更、トークンとシークレットの総入れ替え、脆弱なワークフローの除去。利用者に認証情報のローテーション等を案内。
- 防ぐには
- 開発端末のAIコーディングCLIに、確認なしでコマンドを実行できる広い権限を与えない。依存パッケージのインストールスクリプトの実行を制限し、トークンは短期・最小権限にする。
-
Googleカレンダーの招待1件でGeminiに攻撃者の指示を実行させ、予定の削除やメールの持ち出しなどをさせ得る攻撃手法(SafeBreach報告)
SafeBreachの研究者は、予定の題名に指示を仕込んだGoogleカレンダーの招待を送るだけで、利用者がGeminiに予定やメールについて尋ねたときに、Geminiが攻撃者の指示に従ってしまう攻撃手法を公表した。実証では、予定の削除、スパムやフィッシングの表示、メールの持ち出し、位置の特定、Zoomでのビデオ配信、つないだ家電の操作などを示した。
- 原因
- カレンダーの招待やメールなど、外部から届くデータに仕込んだ指示による間接プロンプトインジェクション(SafeBreach)。
- 影響
- 公表なし(研究による実証。実際の悪用の記載なし)。
- 当事者の対応
- 研究者は2025年2月にGoogleへ報告した。Googleは、重要な操作の前の利用者への確認の強化、URLの扱いの強化、指示を見つける分類器などの多層的な対策を、公表の前に全利用者へ展開したとしている(SafeBreachが掲載したGoogleの回答)。
- 防ぐには
- Geminiに予定やメールの操作を任せる場合も、重要な操作の前の確認を読む。管理者は、Geminiが参照できるサービスを必要な範囲に絞る。
- ディープフェイク 株式会社カブアンド(日本)
カブアンドと代表の前澤友作氏を騙る偽の動画広告が急増、AIで顔や音声を合成したような動画で投資詐欺に誘導
カブアンドは公式サイトの社長記事で、SNS上で「前澤友作」や「カブアンド」を騙る偽の動画広告が急増しているとして注意を呼びかけた。一部の広告では顔や音声をAIで合成したような動画が使われ、本人が直接呼びかけているように見せかけている。カブアンドを名乗って、存在しない投資案件や高額リターンをうたい、個人情報や金銭をだまし取ろうとする詐欺も確認されているという。
- 原因
- 公表なし
- 影響
- 被害件数・被害額の記載なし。
- 当事者の対応
- 同社チームがSNS事業者に削除を繰り返し申し入れているが、広告の量が多く削除が追いつかないと説明。Meta(Facebook、Instagram)を相手取った訴訟が進行中とした。利用者には各SNSの「広告を報告」機能での通報を求め、新しいプロジェクトや投資の話は公式SNSと公式サイトでのみ告知するとした。
- 防ぐには
- 著名な経営者がいる会社は、経営者本人がSNS広告やメッセージで投資を勧めることはないと明言し、公式の告知経路を決めて周知しておく。顧客や社員には、動画や声だけで本人と判断しないよう伝える。
- ディープフェイク 愛知県警など6県警(日本)
ビデオ通話で警察官役の顔をAIで生成して現金をだまし取った特殊詐欺の被疑者を6県警が逮捕
警察庁の令和8年上半期の報告によると、被疑者らは2024年10月頃から2025年5月頃まで、海外の特殊詐欺拠点から日本国内の被害者に電話やSNSの通話機能で連絡し、『マネー・ローンダリング事件に関与している嫌疑があるため、預貯金の流れを確認する必要がある』などとうそを言って現金をだまし取っていた。警察官役はSNSのビデオ通話で制服のようなものを着て偽の警察手帳を見せ、顔が識別されないようAIで生成した顔を使っていた。
- 原因
- 公表なし
- 影響
- 公表なし(被害件数・被害額の記載なし)
- 当事者の対応
- 警察の情報提供に基づき海外当局が犯行拠点を摘発し、2025年8月に身柄の引き渡しを受けて逮捕(警察庁資料)。
- 防ぐには
- 警察がビデオ通話で警察手帳を見せて捜査したり、預貯金の確認や送金を求めたりすることはないと社内外に周知する。お金の話が出たら通話を切り、家族や公式窓口に確認する。