AIサービスの不具合・設定ミスの事例(8件)
AIサービスやAI開発の基盤の不具合・設定ミスで、利用者の情報や学習用データが外から見える状態になった事例です。利用者に落ち度がなくても起こるため、どの情報を外部のAIサービスに預けるかの判断が問われます。
-
AIエージェント向けSNS「Moltbook」のデータベースが認証なしで読み書き可能、約150万件のAPIトークンなどが露出(Wiz報告)
Wizは、AIエージェント同士が投稿・交流するSNS『Moltbook』で、ブラウザ側のJavaScriptに埋め込まれたSupabaseのAPIキーと、行レベルのアクセス制御(Row Level Security)の未設定により、本番データベースを認証なしで読み書きできる状態だったと公表した。約150万件のエージェント用APIトークン、メールアドレス、エージェント間の非公開メッセージなどにアクセスできた。
-
AWSのAIコーディング支援拡張「Amazon Q Developer」(VS Code版1.84.0)に第三者のコードが混入して配布
AWSは、VS Code向けAmazon Q Developer拡張機能のバージョン1.84.0に、脅威アクターがオープンソースのリポジトリにコミットした悪意あるコードが含まれたまま配布されたと公表した。コードは構文エラーのため実行されず、AWSのサービスや顧客環境に変更はなかったとしている。
-
マクドナルドの採用チャットボット基盤(Paradox.ai)に初期パスワードとIDORの欠陥、応募者情報が閲覧可能な状態だった
セキュリティ研究者2人は、マクドナルドのフランチャイズ店の多くが使う採用サイトMcHire(Paradox.ai製のAIチャットボット)で、管理画面のテスト用アカウントに初期値のパスワードでログインでき、さらにAPIの認可不備(IDOR)で他の応募者のチャットや連絡先を取得できたと公表した。研究者は6,400万件を超える応募者の個人データに到達しえたとしている。報道(WIRED)によると、Paradox.aiは、研究者が閲覧したのは7件で、研究者以外のアクセスはなかったとしている。
-
DeepSeekのデータベースが認証なしで外部から見える状態、チャット履歴やAPIの秘密情報を含むログが閲覧可能だった(Wiz報告)
米Wiz Researchは、中国のAI企業DeepSeekのClickHouseデータベースがインターネットから認証なしでアクセスできる状態だったと公表した。ログにはチャット履歴、APIの秘密情報、バックエンドの詳細、運用上のメタデータなどが含まれていた。Wizの通知を受け、DeepSeekは速やかに公開状態を解消した。
-
Hugging FaceのSpacesに不正アクセス、一部のシークレットが不正に取得された疑い
AIモデル共有基盤のHugging Faceは、アプリ実行環境Spacesへの不正アクセスを検知し、Spacesに保存されたシークレット(APIキーやトークン)の一部に許可なくアクセスされた疑いがあると公表した。影響したシークレットに含まれていたHFトークンを失効し、該当利用者にメールで通知した。
-
生成AIサービス「リートン」のデータベース設定不備で、利用者の入力プロンプトや生成結果、メールアドレスなどを外部から取得・編集できる状態だった
リートンテクノロジーズジャパンは、同社が運営する生成AIサービス「リートン」に技術的な脆弱性があり、特殊な操作でニックネーム、職業、メールアドレス、LINE UID、入力したプロンプト、生成結果を取得・編集できる状態だったと報告した。2023年11月30日に利用者からの通報で発覚し、調査でデータベースシステムの設定の一部に不備があり、外部からデータベースにアクセスできる状態だったことを確認した。2023年12月8日に修正を完了した。
- 不具合・設定ミス Microsoft(米国)
MicrosoftのAI研究チームがGitHubで公開したURLの過剰権限SASトークンにより、社内データ38TBが閲覧可能に
MicrosoftのAI研究部門がGitHubで画像認識用のオープンソースAIモデルを公開する際、Azure Storageの共有URLに範囲が広く権限の強いSASトークンを含めていた。Wizの研究者がこれを見つけ、同じストレージアカウントの38TBの非公開データにアクセスできる状態だったと報告した。Microsoftはトークンを失効させ、顧客データの露出はなかったとしている。
-
ChatGPTの不具合で一部利用者の会話タイトルと支払情報の一部が他の利用者に表示
ChatGPTが使っていたオープンソースのRedisクライアントライブラリ(redis-py)の不具合で、一部の利用者に他の利用者のチャット履歴のタイトルが表示され、新しい会話の最初のメッセージが見えた可能性もあった。調査の結果、2023年3月20日の約9時間に、ChatGPT Plus会員の一部の氏名・メールアドレス・支払先住所・カードの種類・カード番号の下4桁・有効期限が他の利用者に見えた可能性があることも分かった。