2023年9月に公表された生成AI関連のインシデント（2件）
2023年9月に一次発表があった、生成AI・AIツールに関わる事例です。原因は一次発表に書かれた範囲だけを載せています。
- 不具合・設定ミス Microsoft（米国）
MicrosoftのAI研究チームがGitHubで公開したURLの過剰権限SASトークンにより、社内データ38TBが閲覧可能に
MicrosoftのAI研究部門がGitHubで画像認識用のオープンソースAIモデルを公開する際、Azure Storageの共有URLに範囲が広く権限の強いSASトークンを含めていた。Wizの研究者がこれを見つけ、同じストレージアカウントの38TBの非公開データにアクセスできる状態だったと報告した。Microsoftはトークンを失効させ、顧客データの露出はなかったとしている。
- 原因
- 従業員がオープンソースAIモデルの公開に関わる中で、過剰な権限のSASトークンを含むURLを公開GitHubリポジトリに載せた（MSRC）。Azure StorageやSAS機能自体の脆弱性ではないとしている。
- 影響
- Wiz：38TBの非公開データ（従業員2人のPCのバックアップ、Microsoftのサービスのパスワード・秘密鍵、359人の従業員の3万件超のTeamsメッセージ）。トークンは読み取り専用ではなく「フルコントロール」。MSRC：元従業員2人のワークステーションプロファイルのバックアップと社内Teamsメッセージ。顧客データの露出はない。
- 当事者の対応
- 2023年6月22日の報告を受け、24日にトークンを失効し外部アクセスを遮断。GitHubのシークレットスキャンを拡張し、このURLを誤って問題なしと判定していた原因を修正。
- 防ぐには
- AIの学習データやモデルを外部公開するときは、ストレージ共有リンクの権限・範囲・有効期限を最小にし、公開前にシークレットスキャンを通す。
- ディープフェイク Retool（米国）
Retool、SMSフィッシングとディープフェイク音声の電話で従業員のMFAコードを詐取され、クラウド顧客27社のアカウントが乗っ取られる
Retoolは、従業員が給与関連を装ったSMSから偽のOktaログインページに誘導され、その後ITチームの一員を名乗り実在する従業員の声をディープフェイクで模倣した電話を受けて、MFAコードを伝えてしまったと公表した。攻撃者は従業員のGoogleアカウントに入り、Google Authenticatorのクラウド同期で保存されていたMFAコードも使って社内システムにアクセスし、クラウド顧客27社のアカウントを乗っ取った。
- 原因
- SMSフィッシングとディープフェイク音声の電話によるソーシャルエンジニアリング。Google AuthenticatorのクラウドでMFAコードが同期されていたことで被害が広がった（Retool）。
- 影響
- クラウド顧客27社（主に暗号資産業界）のアカウントが乗っ取られた。オンプレミス版とマネージド版は影響なし。
- 当事者の対応
- 社内セッションの失効、影響を受けたアカウントの封鎖と復旧、顧客への通知（8月29日）、法執行機関・フォレンジック企業との連携、Googleへのフィードバック。
- 防ぐには
- フィッシングに強いMFA（FIDO2・パスキー等）に切り替え、電話でMFAコードを聞かれても答えない運用を徹底する。