本文へ移動

生成AIのセキュリティリスクの全体像:会社が押さえるべき範囲と、取り組む順番

生成AIを業務で使う会社が向き合うセキュリティ上のリスクを、「使う側」「組み込む側」「攻撃に使われる側」に分けて整理し、AI事業者ガイドラインやIPA、OWASP、NISTの枠組みとの対応、取り組む順番を解説します。

公開 2026年10月20日 更新 2026年10月20日 執筆 AIセキュリティノート編集部(株式会社shigegegege)

いま何が起きているか

IPAが毎年公表する「情報セキュリティ10大脅威」の2026年版では、組織向けの3位に「AIの利用をめぐるサイバーリスク」が初めて選ばれました1。総務省の令和8年版情報通信白書でも、生成AIの活用で懸念されるリスクとして「社内情報の漏洩などのセキュリティリスク」を挙げた日本企業が46.4%と最も多くなっています2。

生成AIのセキュリティというと、情報漏洩からAIを使った詐欺まで話が広がり、どこから手を付けるか迷いがちです。会社の立場から見ると、次の3つに分けると整理しやすくなります。

3つに分けて考える

分類 どんなリスクか 主な例 解説
使う側のリスク 社員が生成AIを使うことで起きる 入力した情報の漏洩、会社が把握していないAIの利用、誤った回答をそのまま使う 情報漏洩・シャドーAI
組み込む側のリスク 自社のシステムや業務の流れにAIを組み込むことで起きる プロンプトインジェクション、AIに与えた権限の悪用、参照データの汚染 プロンプトインジェクション
攻撃に使われるリスク 攻撃者がAIを使うことで、既存の攻撃が強くなる ディープフェイクによるなりすまし、巧妙なフィッシング、攻撃の自動化 AIを使った詐欺

使う側のリスク

生成AIを業務に取り入れた会社のほとんどが、まず向き合うのがこの分類です。IPAの解説書も、AIをめぐるリスクの最初に、職場に無断でAIを業務に使う「シャドーAI」を挙げています9。

  • 入力する情報: 個人情報や機密情報を入力してよいか、入力した情報がサービス側でどう扱われるか。AI事業者ガイドラインは、AI利用者に対し、個人情報や機密情報を不適切に入力しないよう求めています3
  • 使うツール: 会社が把握・許可していないAIツールが使われていないか
  • アカウント: 個人のアカウントではなく、会社が管理するアカウントで使っているか
  • 出力の扱い: AIの回答の誤り(もっともらしい誤り)、著作権・商標など他人の権利への配慮

対策の中心は、使ってよいツールを用意し、使い方のルールを決め、守られているかを見えるようにすることです。社内ガイドラインの作り方

組み込む側のリスク

社内文書を検索して答えるAI、メールや予定を扱うAIアシスタント、作業を自動で進める「AIエージェント」など、AIに社内のデータや操作を任せるほど、このリスクが大きくなります。総務省の技術的対策のガイドラインは、LLMを組み込んだシステムへの主な脅威として、プロンプトインジェクションと、大量の入力で処理を止めるDoS攻撃を挙げています。どちらもプロンプトを入力するだけで実行できるため、攻撃される可能性が比較的高いとしています4。

AIを組み込んだアプリケーションの主なリスクは、OWASP の「Top 10 for LLM Applications 2025」が次の10項目にまとめています5。

番号 項目(原文) 内容の要約
LLM01 Prompt Injection 入力に紛れ込ませた指示でAIの動きを変えられる
LLM02 Sensitive Information Disclosure 機密情報・個人情報が出力に含まれてしまう
LLM03 Supply Chain 外部のモデル・データ・部品に由来するリスク
LLM04 Data and Model Poisoning 学習・参照データやモデルを汚染される
LLM05 Improper Output Handling AIの出力を検証せずに後段の処理に渡してしまう
LLM06 Excessive Agency AIに必要以上の権限や自律性を与えてしまう
LLM07 System Prompt Leakage AIへの指示文(システムプロンプト)が漏れる
LLM08 Vector and Embedding Weaknesses 社内文書検索(RAG)の仕組みの弱点
LLM09 Misinformation 誤った情報をもっともらしく出力する
LLM10 Unbounded Consumption 際限のない利用で費用やサービスが圧迫される

AIエージェントについては、OWASP が2025年12月に別の一覧(Top 10 for Agentic Applications)を公表し、最初の項目に「目標の乗っ取り」を挙げています6。AI事業者ガイドライン第1.2版も「AIエージェント」を定義し、攻撃される範囲の広がりや、内部のデータが外部へ送られるリスクを書き加えました3。

攻撃に使われるリスク

攻撃者も生成AIを使います。会社が直接AIを使っていなくても影響を受けるのがこの分類です。

  • 経営者や取引先の顔・声をまねたなりすまし(送金詐欺)
  • 自然な文面のフィッシングの大量作成
  • 攻撃用のプログラムの作成。警察庁は、生成AIを使って不正なプログラムを作成した事件の摘発などを報告しています11
  • 脆弱性を探す作業の高速化。2026年5月には国家サイバー統括室などが、脆弱性を見つける能力の高いAIが悪用されると攻撃が高速化・大規模化するおそれがあるとして、資産管理・脆弱性管理・パッチの速やかな適用など基本対策の徹底を求めました10

IPAの解説書は、AIを使った攻撃の多くは従来型の攻撃をAIで半自動化・高速化したもので、従来の対策が有効だと整理しています9。新しい対策を探す前に、基本の対策ができているかを確かめることが先です。

参照すべき公的な枠組み

  • AI事業者ガイドライン(総務省・経済産業省、第1.2版・2026年3月): AIを開発・提供・利用する事業者向けの国内の指針。「AI利用者」としての会社が取り組むべき事項も含まれます3
  • AIのセキュリティ確保のための技術的対策に係るガイドライン(総務省、2026年3月): AIを開発・提供する側向けの、プロンプトインジェクションなどへの技術的な対策。AIエージェントは対象外です4
  • AIセーフティに関する評価観点ガイド(AIセーフティ・インスティテュート、第1.20版・2026年7月): AIシステムの安全性を評価する観点。第1.20版でAIエージェント向けの観点が加わりました8
  • OWASP Top 10 for LLM Applications 2025 / for Agentic Applications 2026: AIを組み込んだアプリケーションとAIエージェントのリスクの一覧56
  • NIST AI 600-1(生成AIプロファイル): 米国立標準技術研究所による、生成AIのリスク管理の枠組み。情報セキュリティを含む12のリスクを挙げています7

どこから始めるか

  1. 社内での生成AIの使われ方を把握する(どのツールを、誰が、何に使っているか)
  2. 使ってよいツールと、入力してよい情報を決める(社内ガイドライン)
  3. 会社が管理するアカウントで使えるようにする(法人向けプラン、シングルサインオン、多要素認証)
  4. AIを業務システムに組み込むときは、権限と確認の手順を設計に入れる
  5. 送金や重要な連絡に、なりすましを前提にした確認の手順を入れる
  6. 基本のセキュリティ対策(脆弱性の管理、アカウントの管理、ログの確認)を確実に行う

AIの技術やサービスの条件は変わり続けるため、一度決めたルールを定期的に見直す前提で進めます。

事例集を見る

この記事の根拠にした資料

  1. 独立行政法人情報処理推進機構(IPA)「情報セキュリティ10大脅威 2026」(2026年1月29日)
  2. 総務省「令和8年版 情報通信白書 第Ⅰ部第2章第1節」(2026年7月24日)
  3. 総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)
  4. 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン(令和8年3月)」(2026年3月27日)
  5. OWASP GenAI Security Project「OWASP Top 10 for LLM Applications 2025」
  6. OWASP GenAI Security Project「OWASP Top 10 for Agentic Applications for 2026」(2025年12月9日)
  7. 米国国立標準技術研究所(NIST)「NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」(2024年7月26日)
  8. AIセーフティ・インスティテュート(AISI)「AIセーフティに関する評価観点ガイド(第1.20版)」(2026年7月7日)
  9. 独立行政法人情報処理推進機構(IPA)「情報セキュリティ10大脅威 2026 解説書[組織編]」(2026年3月12日)
  10. 内閣官房 国家サイバー統括室ほか関係省庁「AI性能の高度化を踏まえたサイバーセキュリティ対策の強化について」(2026年5月18日)
  11. 警察庁「令和7年におけるサイバー空間をめぐる脅威の情勢等について」(2026年3月10日)