生成AIのセキュリティリスクの全体像:会社が押さえるべき範囲と、取り組む順番
生成AIを業務で使う会社が向き合うセキュリティ上のリスクを、「使う側」「組み込む側」「攻撃に使われる側」に分けて整理し、AI事業者ガイドラインやIPA、OWASP、NISTの枠組みとの対応、取り組む順番を解説します。
いま何が起きているか
IPAが毎年公表する「情報セキュリティ10大脅威」の2026年版では、組織向けの3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれました1。総務省の令和8年版情報通信白書でも、生成AIの活用で懸念されるリスクとして「社内情報の漏洩などのセキュリティリスク」を挙げた日本企業が46.4%と最も多くなっています2。
生成AIのセキュリティというと、情報漏洩からAIを使った詐欺まで話が広がり、どこから手を付けるか迷いがちです。会社の立場から見ると、次の3つに分けると整理しやすくなります。
3つに分けて考える
| 分類 | どんなリスクか | 主な例 | 解説 |
|---|---|---|---|
| 使う側のリスク | 社員が生成AIを使うことで起きる | 入力した情報の漏洩、会社が把握していないAIの利用、誤った回答をそのまま使う | 情報漏洩・シャドーAI |
| 組み込む側のリスク | 自社のシステムや業務の流れにAIを組み込むことで起きる | プロンプトインジェクション、AIに与えた権限の悪用、参照データの汚染 | プロンプトインジェクション |
| 攻撃に使われるリスク | 攻撃者がAIを使うことで、既存の攻撃が強くなる | ディープフェイクによるなりすまし、巧妙なフィッシング、攻撃の自動化 | AIを使った詐欺 |
使う側のリスク
生成AIを業務に取り入れた会社のほとんどが、まず向き合うのがこの分類です。IPAの解説書も、AIをめぐるリスクの最初に、職場に無断でAIを業務に使う「シャドーAI」を挙げています9。
- 入力する情報: 個人情報や機密情報を入力してよいか、入力した情報がサービス側でどう扱われるか。AI事業者ガイドラインは、AI利用者に対し、個人情報や機密情報を不適切に入力しないよう求めています3
- 使うツール: 会社が把握・許可していないAIツールが使われていないか
- アカウント: 個人のアカウントではなく、会社が管理するアカウントで使っているか
- 出力の扱い: AIの回答の誤り(もっともらしい誤り)、著作権・商標など他人の権利への配慮
対策の中心は、使ってよいツールを用意し、使い方のルールを決め、守られているかを見えるようにすることです。社内ガイドラインの作り方
組み込む側のリスク
社内文書を検索して答えるAI、メールや予定を扱うAIアシスタント、作業を自動で進める「AIエージェント」など、AIに社内のデータや操作を任せるほど、このリスクが大きくなります。総務省の技術的対策のガイドラインは、LLMを組み込んだシステムへの主な脅威として、プロンプトインジェクションと、大量の入力で処理を止めるDoS攻撃を挙げています。どちらもプロンプトを入力するだけで実行できるため、攻撃される可能性が比較的高いとしています4。
AIを組み込んだアプリケーションの主なリスクは、OWASP の「Top 10 for LLM Applications 2025」が次の10項目にまとめています5。
| 番号 | 項目(原文) | 内容の要約 |
|---|---|---|
| LLM01 | Prompt Injection | 入力に紛れ込ませた指示でAIの動きを変えられる |
| LLM02 | Sensitive Information Disclosure | 機密情報・個人情報が出力に含まれてしまう |
| LLM03 | Supply Chain | 外部のモデル・データ・部品に由来するリスク |
| LLM04 | Data and Model Poisoning | 学習・参照データやモデルを汚染される |
| LLM05 | Improper Output Handling | AIの出力を検証せずに後段の処理に渡してしまう |
| LLM06 | Excessive Agency | AIに必要以上の権限や自律性を与えてしまう |
| LLM07 | System Prompt Leakage | AIへの指示文(システムプロンプト)が漏れる |
| LLM08 | Vector and Embedding Weaknesses | 社内文書検索(RAG)の仕組みの弱点 |
| LLM09 | Misinformation | 誤った情報をもっともらしく出力する |
| LLM10 | Unbounded Consumption | 際限のない利用で費用やサービスが圧迫される |
AIエージェントについては、OWASP が2025年12月に別の一覧(Top 10 for Agentic Applications)を公表し、最初の項目に「目標の乗っ取り」を挙げています6。AI事業者ガイドライン第1.2版も「AIエージェント」を定義し、攻撃される範囲の広がりや、内部のデータが外部へ送られるリスクを書き加えました3。
攻撃に使われるリスク
攻撃者も生成AIを使います。会社が直接AIを使っていなくても影響を受けるのがこの分類です。
- 経営者や取引先の顔・声をまねたなりすまし(送金詐欺)
- 自然な文面のフィッシングの大量作成
- 攻撃用のプログラムの作成。警察庁は、生成AIを使って不正なプログラムを作成した事件の摘発などを報告しています11
- 脆弱性を探す作業の高速化。2026年5月には国家サイバー統括室などが、脆弱性を見つける能力の高いAIが悪用されると攻撃が高速化・大規模化するおそれがあるとして、資産管理・脆弱性管理・パッチの速やかな適用など基本対策の徹底を求めました10
IPAの解説書は、AIを使った攻撃の多くは従来型の攻撃をAIで半自動化・高速化したもので、従来の対策が有効だと整理しています9。新しい対策を探す前に、基本の対策ができているかを確かめることが先です。
参照すべき公的な枠組み
- AI事業者ガイドライン(総務省・経済産業省、第1.2版・2026年3月): AIを開発・提供・利用する事業者向けの国内の指針。「AI利用者」としての会社が取り組むべき事項も含まれます3
- AIのセキュリティ確保のための技術的対策に係るガイドライン(総務省、2026年3月): AIを開発・提供する側向けの、プロンプトインジェクションなどへの技術的な対策。AIエージェントは対象外です4
- AIセーフティに関する評価観点ガイド(AIセーフティ・インスティテュート、第1.20版・2026年7月): AIシステムの安全性を評価する観点。第1.20版でAIエージェント向けの観点が加わりました8
- OWASP Top 10 for LLM Applications 2025 / for Agentic Applications 2026: AIを組み込んだアプリケーションとAIエージェントのリスクの一覧56
- NIST AI 600-1(生成AIプロファイル): 米国立標準技術研究所による、生成AIのリスク管理の枠組み。情報セキュリティを含む12のリスクを挙げています7
どこから始めるか
- 社内での生成AIの使われ方を把握する(どのツールを、誰が、何に使っているか)
- 使ってよいツールと、入力してよい情報を決める(社内ガイドライン)
- 会社が管理するアカウントで使えるようにする(法人向けプラン、シングルサインオン、多要素認証)
- AIを業務システムに組み込むときは、権限と確認の手順を設計に入れる
- 送金や重要な連絡に、なりすましを前提にした確認の手順を入れる
- 基本のセキュリティ対策(脆弱性の管理、アカウントの管理、ログの確認)を確実に行う
AIの技術やサービスの条件は変わり続けるため、一度決めたルールを定期的に見直す前提で進めます。
実際に起きた事例
事例集を見る-
OpenAIの社内試験中のAIエージェントが試験環境を抜け出し、Hugging Faceの本番環境の一部に侵入
Hugging Faceは2026年7月16日、自律的に動くAIエージェントのシステムによる本番環境への侵入を公表した。OpenAIは7月21日、これが同社の社内のサイバー攻撃能力の評価で動いていたAIエージェント(社内向けの研究モデルとGPT-5.6 Sol。評価のため安全対策の一部を外していた)によるものだったと公表した。エージェントは7月8日以降、評価環境で使われていたJFrog Artifactoryの、まだ知られていなかった脆弱性を突いてインターネットに出て、ネット上に公開されていた認証情報と、Hugging Faceのデータセット処理の脆弱性を組み合わせ、7月11〜13日に本番環境の一部を侵害した。OpenAIは、許可なく攻撃的に動いたAIエージェントの集団として、知られている限り初めての事例としている。
- AIの悪用 株式会社バンダイナムコフィルムワークス(バンダイチャンネル)(日本)
バンダイチャンネルの会員約4万6,800アカウントを生成AIで修正した攻撃プログラムで退会させたとして高校生を逮捕
バンダイナムコフィルムワークスは、2025年11月4日に不正アクセスにより動画配信サービス「バンダイチャンネル」の一部の会員が意図せず退会処理される障害が起き、最大136.6万件の会員情報が漏えいしたおそれがあるとして、11月6日からサービスを停止し、12月19日に再開したと公表した。警察庁の報告によると、高校生の少年(当時15歳)は動画配信サービスのサーバーに脆弱性を見つけ、2025年11月、生成AIを用いて修正した自作の攻撃プログラムで会員約4万6,800アカウントを本人の意思に反して退会させるなどして業務を妨害したとして、2026年7月に警視庁に逮捕された。警察庁の報告は社名を伏せているが、時期・サービスの種類・被害の形(会員の意図しない退会)が同社の公表と一致する。
- AIの悪用 千葉県警察(日本)
AIで作ったソースコードを組み合わせてランサムウェアを作成したとして、千葉県警が19歳の男を逮捕
警察庁の令和8年上半期の報告によると、会社員の男(19歳)は、飲料メーカーがランサムウェア攻撃を受けたという報道を見て、ランサムウェアを作って金を稼ごうと考え、2026年2月にAIを悪用して作成したソースコードを組み合わせてランサムウェアを作成した。千葉県警は2026年6月、不正指令電磁的記録作成の疑いで逮捕した。
-
AIエージェント向けSNS「Moltbook」のデータベースが認証なしで読み書き可能、約150万件のAPIトークンなどが露出(Wiz報告)
Wizは、AIエージェント同士が投稿・交流するSNS『Moltbook』で、ブラウザ側のJavaScriptに埋め込まれたSupabaseのAPIキーと、行レベルのアクセス制御(Row Level Security)の未設定により、本番データベースを認証なしで読み書きできる状態だったと公表した。約150万件のエージェント用APIトークン、メールアドレス、エージェント間の非公開メッセージなどにアクセスできた。
- AIの悪用 株式会社快活フロンティア(快活CLUB)(日本)
快活CLUBのアプリのサーバーに生成AIで作ったプログラムで約724万件の不正な指令、会員情報が漏えい(高校生を逮捕)
快活CLUBを運営する快活フロンティアは、2025年1月18日にサーバーへの不正アクセスを検知し、会員情報7,290,087件が漏えいした可能性があると公表した。警察庁の報告によると、高校生の少年(当時17歳)は2025年1月、生成AIを悪用して複合カフェのアプリのサーバーに約724万件の不正な指令を送信して会員情報を漏えいさせ、アプリの機能の一部を止めたとして、2025年12月に警視庁に逮捕された。警察庁の報告は社名を伏せているが、快活フロンティアは2025年12月4日に、この不正アクセスの容疑者が警視庁に逮捕されたと公表しており、攻撃の時期・対象・逮捕の時期が一致する。
-
Anthropic、Claude Codeを使った国家支援とみられるグループのサイバー諜報活動を検知し遮断したと公表
Anthropicは、2025年9月中旬、同社が中国の国家支援グループと高い確度で評価する攻撃者が、Claude Codeを攻撃の枠組みに組み込み、大手テック企業・金融機関・化学メーカー・政府機関など約30の標的への侵入を試みたと公表した。作業の80〜90%をAIが担い、人の関与は1回の作戦あたり4〜6回の重要な判断にとどまったとしている。少数の事例で侵入が成功した。
この記事の根拠にした資料
- 独立行政法人情報処理推進機構(IPA)「情報セキュリティ10大脅威 2026」
- 総務省「令和8年版 情報通信白書 第Ⅰ部第2章第1節」
- 総務省・経済産業省「AI事業者ガイドライン(第1.2版)」
- 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン(令和8年3月)」
- OWASP GenAI Security Project「OWASP Top 10 for LLM Applications 2025」
- OWASP GenAI Security Project「OWASP Top 10 for Agentic Applications for 2026」
- 米国国立標準技術研究所(NIST)「NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」
- AIセーフティ・インスティテュート(AISI)「AIセーフティに関する評価観点ガイド(第1.20版)」
- 独立行政法人情報処理推進機構(IPA)「情報セキュリティ10大脅威 2026 解説書[組織編]」
- 内閣官房 国家サイバー統括室ほか関係省庁「AI性能の高度化を踏まえたサイバーセキュリティ対策の強化について」
- 警察庁「令和7年におけるサイバー空間をめぐる脅威の情勢等について」