AIサプライチェーンとは ― 学習データ・モデル・推論環境のリスク連鎖

生成AIの企業導入が加速するなか、CISOと経営層が見落としやすいのが「AIサプライチェーン」のリスクである。従来のソフトウェアサプライチェーンはOSS・パッケージ・コンテナ・ビルドを対象としていたが、AIシステムではこれに加え「学習データ」「事前学習モデル」「微調整重み」「推論ランタイム」「エージェント基盤」が連鎖する。MITRE ATLASはこの領域を「Supply Chain Compromise」として体系化し^[1]、JFrogの調査ではHugging Face上で100件超の悪意あるモデルが検出されている^[2]。本稿では3階層にわたるリスク連鎖、AI-BOM標準化の現在地、経営層が負うべき説明責任を整理する。

AIサプライチェーンの3階層

AIシステムのサプライチェーンは従来のソフトウェアより一段深い依存構造を持つ。第一層「データ層」はWebクロール由来のコーパス、サードパーティのラベル付きデータセット、顧客提供の業務データが混在する。第二層「モデル層」はHugging FaceやGitHub、社内MLflowから取得した事前学習モデル、LoRA/QLoRAアダプタ、量子化済み重みで構成される。第三層「推論環境層」はPyTorch・Transformers・vLLM・Ollamaなどのランタイム、CUDA、コンテナ、サーバレスエンドポイント、LangChain/LlamaIndexなどのエージェント基盤が積層する。MITRE ATLASはこの3層それぞれにSupply Chain Compromiseのサブテクニック（AML.T0010 Data / Model / Software）を対応づけており^[1]、上流1点の汚染が下流の全推論に波及する「リスク連鎖」が構造的に発生する点を警告している。従来のCVEベース脆弱性管理では捕捉できない性質を持つ。

データ層のリスク

データ層の第一のリスクは「データポイズニング」である。Carliniらの研究「Poisoning Web-Scale Training Datasets is Practical」では、LAION-400MやCommon Crawl由来の公開データセットにおいて、期限切れドメインを数十ドル単位で買い戻すだけで、0.01%以下の割合で悪意ある画像・テキストを注入できることが実証された^[3]。この規模でもバックドアを仕込むには十分であり、事前学習段階で「特定トリガーに反応して誤出力する」挙動を埋め込める。第二に、BadNetsやTrojaning Attackとして体系化された手法は、ラベル付きデータの一部に視覚的・語彙的トリガーを埋め込み、平常時は正常動作しつつ特定入力だけ異常挙動する「潜伏型バックドア」を生む^[4]。第三に、ライセンスと出自のリスクがある。Books3、C4、Common CrawlなどにはGDPR違反データ、著作権保護コンテンツ、個人情報が混在しており、EU AI Act第53条は汎用AIモデル提供者に学習データの要約公開を義務づけた^[5]。出自不明のデータで学習したモデルの業務利用は、そのまま企業の賠償リスクとなる。

モデル層のリスク

モデル層で最も深刻なのは、配布フォーマット自体が「実行可能コード」を含みうる点である。PyTorchのデフォルトであるPickle形式、TensorFlowのHDF5 Lambdaレイヤ、KerasのCustom Objectsは、ロード時に任意のPythonコードを実行する仕様となっている^[6]。JFrog SecurityがHugging Faceを継続監査した結果、100件超のモデルに悪意あるPickleペイロードが含まれ、一部はリバースシェルを確立するコードを持っていた^[2]。Hugging Face自身もこの問題を認識し、pickle-scanおよびより厳格なsafetensorsフォーマットへの移行を推進している^[7]。しかしsafetensors化されていないリポジトリは多数存在し、企業がtrust_remote_codeオプションを有効化した瞬間に、モデル作者のコードが自社GPUサーバ上で実行される。第二のリスクは「学習段階のバックドア」である。BadMagic、TrojanModels、Sleeper Agentsと呼ばれる一連の研究では、LoRAアダプタや微調整段階で埋め込まれたバックドアが、プロンプトレベルの安全性チェックを突破して悪性コード生成や機密漏洩を誘発することが示されている^[8]。第三は「モデル署名の欠如」である。Hugging Face・TensorFlow Hub・PyTorch Hubいずれもnpm/PyPI同等の署名検証機構を持たず、タイポスクワッティングも容易に成立する。Sigstoreを応用したModel SigningはLinux Foundationを中心に標準化が進行中だが、実装は限定的である^[9]。

推論環境層のリスク

推論環境はPython依存の集積体であり、PyPI経由の攻撃面が大きい。2022年末のPyTorch Nightly事件では、悪意あるtorchtritonパッケージがPyPIに登録され、ユーザOSのホストネーム、/etc/hosts、SSH鍵情報が攻撃者サーバに送信された^[10]。これは依存解決の優先順位（PyPIが社内ミラーより優先される設定）を悪用した「Dependency Confusion」の典型例である。vLLM、bitsandbytes、auto-gptqなど活発な開発が続くライブラリはGPUドライバやCUDAに強く依存し、推論コンテナのビルド時に大量の外部コードを取り込む。CISAは2024年の「Deploying AI Systems Securely」共同ガイダンスで、AI推論基盤のCI/CDパイプラインにビルド証明（in-toto attestation）とSBOM検証を組み込むことを推奨している^[11]。サーバレス（Bedrock、Azure AI Foundry、Vertex AI）利用時はモデル実体の所在と監査ログの取得範囲がベンダー依存となるため、SLAとデータレジデンシー契約の精読が不可欠である。

AI-BOM の現在地

SBOMに対しAI領域では「AI-BOM」「ML-BOM」と呼ばれる拡張が標準化フェーズに入っている。CycloneDX 1.5（OWASP）は2023年にML Component typeを追加し、モデル名・学習データセット・評価指標・ライセンス・想定用途をJSON/XMLで機械可読に記述できるようにした^[12]。SPDX 3.0（Linux Foundation）もAI Profileを導入し、モデルカードとデータカードをSPDX文書内に統合する仕様を公開している^[13]。NISTはSP 800-218A（SSDF for Generative AI）ドラフトでSSDFをAI向けに拡張し、データ出自の追跡（PW.4）とモデル完全性検証（PS.2）を明記した^[14]。MITRE ATLASもAI-BOMを前提としたCase Study記述形式を整備しつつある^[1]。現時点ではCycloneDXが先行するが、企業調達において「AI-BOM提出要求」が次の1〜2年で新たな常識となる可能性が高い。

チェックリスト

• Hugging Face等から取得するモデルは`safetensors`形式を優先し、`trust_remote_code=True`の利用は個別レビュー必須とする
• PyPI/npmの依存解決は社内ミラー優先に固定し、Dependency Confusion対策として名前予約（namespace squatting防止）を実施する
• 全てのモデル・データセット・ライブラリをCycloneDX ML-BOMまたはSPDX AI Profileで記述し、CI/CDで差分を自動検出する
• 学習・微調整データに対し出自（Provenance）とライセンス種別を記録し、EU AI Act第53条の要約公開義務に備える
• モデル署名（Sigstore / Model Signing）の検証を本番デプロイ前のゲートに組み込み、未署名モデルは隔離環境でのみ利用する

打ち手

まず「外部取得するすべてのAIアセット」の棚卸しを四半期単位で実施し、CycloneDX ML-BOMを生成・版管理する。次にモデルロード経路をtransformersのfrom_pretrainedに丸投げせず、社内プロキシ経由に集約し、プロキシ側でPickle検査・ウイルススキャン・ハッシュ検証・ライセンス照合を行う。推論コンテナはDistroless/最小イメージをベースとし、in-toto attestationで「誰が・どのソースから・どの重みでビルドしたか」を証跡化する。これらは情シスだけで完結せず、法務・調達・事業責任者の合意形成が必要であり、CISO主導で全社ガバナンスを設計すべき領域である。

モデルを信じるな、出自を信じよ

Omamori AI の結論

1. 事実: Hugging Face上で100件超の悪意あるモデルが検出され、PyTorch NightlyではPyPI経由の依存攻撃が現実に発生した。AI-BOM標準（CycloneDX ML / SPDX AI Profile）はすでに実用段階にある
2. 判断軸: 「モデル単体の性能」ではなく「データ・モデル・推論環境の3層を貫く出自の検証可能性」を調達基準とし、未署名・出自不明のアセットは本番から排除する
3. 打ち手: 社内モデルプロキシの設置、CycloneDX ML-BOMの必須化、safetensors強制、モデル署名検証のCI/CDゲート化。これらをCISO主導で1年以内に標準化する

経営者視点で考えるべきこと

AIサプライチェーンの管理責任は、もはや情シス部門だけの技術問題ではない。EU AI Actは2024年8月に発効し、第53条で汎用AIモデル提供者に学習データの要約公開と著作権ポリシー整備を義務づけた^[5]。高リスクAIシステム提供者には第10条でデータガバナンス、第15条で精度・堅牢性・サイバーセキュリティの確保が求められる。違反時の制裁金は最大3,500万ユーロまたは全世界売上の7%であり、GDPRを上回る水準だ。米国側ではNIST AI RMFとCISAガイダンスが事実上の調達基準となりつつあり、公共・金融・医療領域での取引要件となる日は近い。経営層は「どのモデルを使っているか」ではなく「どの出自・どの契約・どのBOMで説明可能か」を自社の言葉で答えられる状態を作る必要がある。これはサイバー保険の査定条件にも直結する。AI-BOMとモデル署名は、訴訟と規制に耐える経営インフラである。

参考文献・出典

1. MITRE ATLAS, “Adversarial Threat Landscape for AI Systems”, AML.T0010 ML Supply Chain Compromise, https://atlas.mitre.org/
2. JFrog Security Research, “Data Scientists Targeted by Malicious Hugging Face ML Models with Silent Backdoor”, 2024年2月
3. Carlini et al., “Poisoning Web-Scale Training Datasets is Practical”, IEEE S&P 2024
4. Gu et al., “BadNets”, IEEE Access 2019 / Liu et al., “Trojaning Attack on Neural Networks”, NDSS 2018
5. European Parliament, “Regulation (EU) 2024/1689 (Artificial Intelligence Act)”, Articles 10, 15, 53
6. Python Software Foundation, “pickle — Python object serialization (Warning: Never unpickle data from untrusted source)”, Python Documentation
7. Hugging Face, “Safetensors: A simple and safe way to store and distribute tensors”, huggingface.co/docs/safetensors
8. Hubinger et al., “Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training”, Anthropic 2024 / Xu et al., “Instructions as Backdoors” (BadMagic系研究), 2023
9. OpenSSF / Sigstore, “Model Signing for ML Artifacts”, Linux Foundation AI & Data Foundation, 2024
10. PyTorch Team, “Compromised PyTorch-nightly dependency chain between December 25th and December 30th, 2022”, pytorch.org/blog, 2022年12月
11. CISA, NSA, FBI, ASD ACSC, NCSC-UK et al., “Deploying AI Systems Securely: Best Practices for Deploying Secure and Resilient AI Systems”, 共同ガイダンス 2024年4月
12. OWASP CycloneDX, “Machine Learning Bill of Materials (ML-BOM) — CycloneDX v1.5/1.6 Specification”
13. Linux Foundation, “SPDX 3.0 AI Profile Specification”, spdx.dev
14. NIST, “SP 800-218A (Draft): SSDF for Generative AI”, 2024 / NIST, “AI RMF 1.0”, 2023
15. OWASP, “Top 10 for Large Language Model Applications — LLM05: Supply Chain Vulnerabilities”, 2023/2025版