OWASP LLM Top 10 ― 企業が押さえる生成AIのTop脅威

Picsum ID: 800

OWASP Top 10 for LLM Applications は2023年8月の v1.0 以来、生成AIセキュリティのデファクトスタンダードとなった[1]。2024年11月公開の v2.0(2025年版)[2]では Prompt Injection の射程拡大、System Prompt Leakage と Vector and Embedding Weaknesses の新設、Unbounded Consumption への統合など実インシデントを反映した改訂が施された。2026年には Agentic Applications 向け兄弟リスト[3]も加わり自律エージェント時代の脅威モデルが体系化されつつある。本稿はCISO・情シス向けにLLM01〜LLM10の要旨と代表事例、v1→v2 差分、日本企業の優先順位、NIST AI RMF・ISO/IEC 42001・EU AI Act との接続点を解説する[4][5][6]

OWASP Top 10 for LLM Applications とは何か

OWASP は Web 脆弱性ランキング Top 10 を25年以上維持してきた非営利団体である[7]。2023年に Steve Wilson(Exabeam CPO)[8]を中心とする「Top 10 for LLM Applications」プロジェクトが発足し、500名超の実務家が参画している。目的は LLM 統合アプリ特有のリスクを網羅し、開発・セキュリティ・経営の共通言語を提供すること。各項目には正式 ID・攻撃シナリオ・緩和策が付き、「ランキングではなくリスクカテゴリ」として組織ユースケース別に優先度を判断する。MITRE ATLAS[9]、NIST AI RMF Generative AI Profile[4]、ENISA Multilayer Framework[10]等から参照され、生成AIガバナンスの事実上の脆弱性タクソノミーとして定着した。

LLM01〜LLM10 の各項目要約と代表事例

2025年版 v2.0 の正式名称・要旨・代表事例は以下のとおり。

ID 正式名称 要旨 代表事例・典拠
LLM01 Prompt Injection 悪意入力でモデル挙動を上書きしガードを迂回。直接型と間接型(Indirect)を含む Bing Chat Sydney 漏洩(2023年2月)[11]、DAN[12]、EchoLeak(CVE-2025-32711)[13]
LLM02 Sensitive Information Disclosure 学習データ・システムプロンプト・連携ソースから機微情報が出力経由で流出 Samsung 社員 ChatGPT 投入・社内禁止令(2023年4月)[14]、ChatGPT 会話漏洩バグ[15]
LLM03 Supply Chain 事前学習モデル・LoRA・データセット・推論ライブラリのサプライチェーン汚染 Hugging Face 悪意モデル100件超(JFrog、2024年2月)[16]、PyTorch torchtriton 混入[17]
LLM04 Data and Model Poisoning 事前学習・ファインチューニング・RAG 段階で悪意データを混入しバックドアを仕込む Carlini ら「Poisoning Web-Scale Datasets is Practical」[18]、PoisonGPT(2023年7月)[19]
LLM05 Improper Output Handling LLM 出力をダウンストリームが無検証で扱い XSS・SSRF・RCE に発展 LangChain LLMMathChain RCE(CVE-2023-29374)[20]、Vanna AI RCE(CVE-2024-5565)[21]
LLM06 Excessive Agency エージェント/ツール連携に過剰な権限・自律性を与え被害が増幅 ChatGPT Plugins の OAuth 経由越権操作[22]
LLM07 System Prompt Leakage(v2.0新設) システムプロンプト内の認証情報・内部仕様・ガードロジックが露出 Bing Chat Sydney 全文漏洩[11]、Custom GPT 抽出常態化[23]
LLM08 Vector and Embedding Weaknesses(v2.0新設) RAG ベクトル DB のテナント越境、Embedding Inversion、インデックス汚染 Vec2Text 埋め込み復元(Cornell、2023年)[24]、ConfusedPilot(UT Austin、2024年)[25]
LLM09 Misinformation ハルシネーション・誤情報を業務判断に取り込み法的・財務的損害を招く Mata v. Avianca 制裁(2023年6月)[26]、Moffatt v. Air Canada 敗訴(2024年2月)[27]
LLM10 Unbounded Consumption(v2.0新設、旧 DoS/Theft 統合) 無制限推論呼出のコスト爆発・サービス拒否、API 経由モデル抽出 Carlini ら ChatGPT 学習データ抽出(2023年)[28]、Sourcegraph API キー漏洩[29]

v1.0 から v2.0 への主な変更点

主要差分は4点。第一に LLM01 Prompt Injection の概念拡張――マルチモーダル攻撃と Indirect Prompt Injection が前面化[2]。第二に LLM07 System Prompt Leakage 新設――Sydney 事件以降の常態化を受け独立カテゴリへ昇格[2]。第三に LLM08 Vector and Embedding Weaknesses 新設――RAG 標準化によりテナント分離不備・Embedding Inversion・インデックス汚染が独立リスク化[2][24]。第四に LLM10 Unbounded Consumption 統合――旧 Model DoS と Model Theft が「リソース消費の境界欠如」軸で統合[2]。Insecure Plugin Design は Excessive Agency に吸収。Agentic Applications 2026[3]は Memory Poisoning・Tool Misuse・Identity Spoofing・Cascading Hallucinations 等を追加し補完関係にある。

日本企業での優先順位付け

日本企業の主要ユースケースは (1) 社内チャットボット、(2) RAG 文書検索、(3) コーディング支援、(4) Copilot 系オフィス統合。最優先は LLM02 Sensitive Information Disclosure ―― Samsung 事件[14]型のシャドー AI 経由機密入力は国内でも継続発生し、PPC ガイドライン[30]整合の統制が急務。次点が LLM01 Prompt Injection(特に Indirect)LLM08 Vector and Embedding Weaknesses ―― 社内 RAG 展開でメール・Wiki・SharePoint からの間接注入とテナント分離不備による横断漏洩が現実化[13][25]LLM05 Improper Output Handling はコード生成エージェント導入企業で優先度が跳ね上がる[20][21]LLM09 Misinformation は対顧客チャットボットで Air Canada 型責任問題に直結[27]LLM10 Unbounded Consumption は API キー流出による即時コスト爆発として月次予算統制と結びつく。

チェックリスト

  • 社内 LLM 利用規程に OWASP LLM Top 10 の各項目(特に LLM01/02/05/08)が反映されているか
  • RAG ベクトル DB のテナント分離・アクセス制御・埋め込み反転耐性をレビュー済みか
  • LLM 出力をダウンストリーム(SQL/シェル/コード実行)で扱う箇所に sandbox/パラメタライズが入っているか
  • エージェント/ツール連携に最小権限原則と Human-in-the-Loop 承認が組み込まれているか
  • API キー漏洩・推論コスト爆発に備えたレートリミット・予算アラート・異常検知を設定しているか

打ち手

打ち手は3層。コントロール層では Prompt Shield/LLM Guard/NeMo Guardrails 等の前後フィルタで Indirect Prompt Injection と Sensitive Information Disclosure を遮断[31][32]アーキテクチャ層ではエージェントに最小権限・読み書き分離・人手承認ゲートを組み込み、RAG はテナントタグ+メタデータフィルタで横断アクセスを禁止。ガバナンス層では ISO/IEC 42001[5]と NIST AI RMF[4]を組合せた監査体制を整備し、EU AI Act[6]高リスク区分では透明性・人的監督・ログ保管を満たす。MITRE ATLAS[9]のテクニック ID(AML.T0051 LLM Prompt Injection 等)を OWASP Top 10 に紐付ければ検知・対応が体系化される。

OWASP LLM Top 10 は禁止リストではなく「設計に組み込むべきリスクカテゴリ」である。

Omamori AI の結論

  1. 事実:v2.0 は System Prompt Leakage・Vector and Embedding Weaknesses・Unbounded Consumption の3項目を新設/統合。EchoLeak[13]、Vanna AI RCE[21]、Air Canada 判決[27]はいずれも v2.0 カテゴリで説明可能な実害である。
  2. 判断軸:日本企業の優先度は LLM02→LLM01/08→LLM05/06→LLM09/10。OWASP Top 10 を MITRE ATLAS と NIST AI RMF に重ねて運用すれば検知・対応・監査が一気通貫する。
  3. 打ち手:Guardrails+最小権限エージェント設計+ISO/IEC 42001 監査の3層をユースケース別に深さを変え適用。Agentic Applications 2026[3]も併用し自律エージェント時代に備える。

経営者視点で考えるべきこと

経営の問いは「OWASP に準拠するか」ではなく「生成AIを安全に事業へ組み込む共通言語を社内に持てているか」である。OWASP LLM Top 10 は CISO・情シス・開発・事業部門の共通辞書として、内部統制報告・取引先セキュリティ質問票・サイバー保険引受条件で参照頻度が急増中だ。EU AI Act[6]は2026年から高リスク区分への本格適用が始まり、国内でも経産省「AI事業者ガイドライン」[33]と PPC 注意喚起[30]が事実上の業界標準となりつつある。判断軸は3点 ――①LLM 利用規程と SDLC に OWASP Top 10 のカテゴリ ID を直接埋め込みレビュー観点として固定する、②RAG・エージェント・コード生成の3類型別に優先項目を変えた多層防御を設計する、③ISO/IEC 42001 認証取得を中期目標に置きつつ、NIST AI RMF[4]のサブカテゴリと OWASP Top 10 の対応表を整備し内部監査の俎上に乗せる。生成AIは「導入か禁止か」ではなく「どのリスクを誰がどの仕組みで吸収するか」の経営判断段階に入った。

参考文献・出典

  1. OWASP, “LLM Top 10 v1.0,” 2023年8月
  2. OWASP, “LLM Top 10 2025 (v2.0),” genai.owasp.org/llm-top-10/
  3. OWASP GenAI, “Agentic AI Top 10 Threats 2026”
  4. NIST, “AI 600-1 RMF GenAI Profile,” 2024年7月
  5. ISO/IEC 42001:2023 AI Management System
  6. EU, “Regulation 2024/1689 (AI Act),” 2024年
  7. OWASP Foundation, owasp.org
  8. Steve Wilson, “Developer’s Playbook for LLM Security,” O’Reilly, 2024
  9. MITRE ATLAS, atlas.mitre.org
  10. ENISA, “Multilayer Framework for Cybersecurity for AI,” 2023年6月
  11. Kevin Liu, Bing Chat Sydney 抽出, 2023年2月
  12. “DAN jailbreak,” reddit.com/r/ChatGPT, 2022年12月
  13. Aim Labs / MSRC, “EchoLeak (CVE-2025-32711),” 2025年6月
  14. Bloomberg, “Samsung Bans Staff’s AI Use,” 2023年5月
  15. OpenAI, “March 20 ChatGPT outage post-mortem,” 2023年3月
  16. JFrog, “Malicious Hugging Face Models,” 2024年2月
  17. PyTorch, “Compromised torchtriton,” 2022年12月
  18. Carlini et al., “Poisoning Web-Scale Datasets,” arXiv:2302.10149
  19. Mithril Security, “PoisonGPT,” 2023年7月
  20. NVD, “CVE-2023-29374: LangChain LLMMathChain RCE”
  21. NVD/JFrog, “CVE-2024-5565: Vanna AI RCE,” 2024年6月
  22. J. Rehberger, “ChatGPT Plugin OAuth Issues,” embracethered.com
  23. Embrace the Red, “Custom GPT prompt extraction,” 2023-2024年
  24. Morris et al., “Text Embeddings Reveal As Much As Text,” EMNLP 2023
  25. UT Austin, “ConfusedPilot: RAG integrity attack,” 2024年
  26. SDNY, “Mata v. Avianca, 1:22-cv-01461,” 2023年6月
  27. BC CRT, “Moffatt v. Air Canada, 2024 BCCRT 149”
  28. Carlini et al., “Scalable Extraction from LLMs,” arXiv:2311.17035
  29. Sourcegraph, “API key leak incident,” 2023年8月
  30. 個人情報保護委員会, “生成AI利用に関する注意喚起,” 2023年6月
  31. Microsoft, “Azure AI Content Safety / Prompt Shields”
  32. NVIDIA, “NeMo Guardrails,” github.com/NVIDIA
  33. 経産省・総務省, “AI事業者ガイドライン v1.0,” 2024年4月
SHARE 𝕏 in f

あわせて読みたい