2025年7月に公表された生成AI関連のインシデント(3件)
2025年7月に一次発表があった、生成AI・AIツールに関わる事例です。原因は一次発表に書かれた範囲だけを載せています。
-
AIコーディングツール「Gemini CLI」に、信頼できないコードを調べさせると気づかれずに任意のコマンドを実行され得る脆弱性(Tracebit報告)
Tracebitは、Googleが2025年6月25日に公開したコマンドライン用のAIエージェント「Gemini CLI」に、既定の設定のまま信頼できないコードを調べさせると、利用者に気づかれずに任意のコマンドを実行され得る脆弱性があったと公表した。READMEなどのファイルに仕込んだ指示(プロンプトインジェクション)と、利用者が許可したコマンドとの照合の甘さを組み合わせ、無害なコマンドに見せかけて環境変数を外部に送る手口を示した。
- 原因
- ファイルに仕込まれた指示に従ってしまうことと、許可済みのコマンドとの照合が不十分だったこと(Tracebit)。
- 影響
- 実際に悪用されたかどうかは公表なし。
- 当事者の対応
- Tracebitは6月27日にGoogleの脆弱性報告窓口へ報告した。Googleは最も高い優先度(P1/S1)に分類し、7月25日公開のv0.1.14で修正した(Tracebit)。
- 防ぐには
- AIのコーディングツールに見知らぬリポジトリを調べさせるときは、隔離した環境で動かし、コマンドの自動許可を広げない。ツールは最新版に更新する。
-
AWSのAIコーディング支援拡張「Amazon Q Developer」(VS Code版1.84.0)に第三者のコードが混入して配布
AWSは、VS Code向けAmazon Q Developer拡張機能のバージョン1.84.0に、脅威アクターがオープンソースのリポジトリにコミットした悪意あるコードが含まれたまま配布されたと公表した。コードは構文エラーのため実行されず、AWSのサービスや顧客環境に変更はなかったとしている。
- 原因
- CodeBuildの設定にあった、権限が広すぎるGitHubトークンにより、脅威アクターがリポジトリにコミットできた(AWS)。
- 影響
- 悪意あるコードは配布されたが実行されなかった(AWS)。
- 当事者の対応
- 資格情報の失効・交換、悪意あるコードの削除、1.85.0の公開と1.84.0の配布停止。利用者に1.84.0の削除と更新を案内。
- 防ぐには
- AIコーディング支援ツールも開発基盤のソフトウェア供給網の一部として扱い、拡張機能のバージョンと自動更新の方針を管理する。
-
マクドナルドの採用チャットボット基盤(Paradox.ai)に初期パスワードとIDORの欠陥、応募者情報が閲覧可能な状態だった
セキュリティ研究者2人は、マクドナルドのフランチャイズ店の多くが使う採用サイトMcHire(Paradox.ai製のAIチャットボット)で、管理画面のテスト用アカウントに初期値のパスワードでログインでき、さらにAPIの認可不備(IDOR)で他の応募者のチャットや連絡先を取得できたと公表した。研究者は6,400万件を超える応募者の個人データに到達しえたとしている。報道(WIRED)によると、Paradox.aiは、研究者が閲覧したのは7件で、研究者以外のアクセスはなかったとしている。
- 原因
- 管理画面のテスト用アカウントの初期資格情報(123456:123456)と、内部APIのIDOR(研究者の報告)。
- 影響
- 研究者の報告では、氏名・メールアドレス・電話番号・住所、応募状況、応募者としてログインできる認証トークン等に到達し得た(6,400万件超)。Paradox.aiは研究者以外のアクセスはなかったとしている(WIRED)。
- 当事者の対応
- 2025年6月30日の報告当日に資格情報が使えなくなり、7月1日にParadox.aiが修正完了を確認(研究者)。Paradox.aiはバグバウンティ制度の導入を表明(WIRED)。
- 防ぐには
- AIを組み込んだ外部サービスでも、初期パスワードや認可不備のような従来型の欠陥が大きな露出につながる。委託先に不要なテストアカウントの棚卸しと多要素認証を求める。