データポイズニングとは ― 学習データ汚染による長期汚染攻撃

データポイズニングとは ― 学習データ汚染による長期汚染攻撃

大規模言語モデル（LLM）や画像認識モデルの能力は学習データの品質に依存する。その前提を逆手にとり、攻撃者が学習データに悪意あるサンプルを混入させモデル挙動を恒常的に歪める攻撃が「データポイズニング」である。Webクロール由来の事前学習データ、RLHFの選好データ、社内FTデータ、外部公開モデル、いずれも侵入口になり得る。本稿はBiggio & Laskovのレビューから、Carliniら「Webスケールのポイズニングは現実的」（2023）、Anthropic「Sleeper Agents」のバックドア持続性まで、CISO・データ部門が押さえるべき脅威構造と防御策を体系的に解説する^[1][2][3]。

1. データポイズニングの3類型 ― Targeted / Indiscriminate / Backdoor

Biggio & Laskov（2018）「Wild Patterns」は機械学習への敵対的攻撃を10年以上の研究から体系化し、ポイズニングを「学習時攻撃（training-time attack）」と位置づけた^[1]。実務上は次の3類型を区別する。

(1) Indiscriminate（無差別型）：モデル全体の精度を下げ可用性を毀損する。SVMへの勾配ベース汚染が古典例で、数%のラベル反転で分類精度が大幅劣化する^[1]。

(2) Targeted（標的型）：特定入力（競合企業名、特定人物の顔）にのみ誤分類を起こす。全体精度はほぼ不変なので検知困難。「Clean-label poisoning」が代表例で、Shafahiら（2018）の”Poison Frogs”が知られる^[4]。

(3) Backdoor（バックドア型）：特定トリガー（画像中の小パッチ、文中の特定フレーズ）を含む入力にのみ攻撃者指定の出力を返す。Guら（2017）”BadNets”が出発点で、画像に4×4ピクセルのトリガーを埋め込むだけで攻撃成功率99%超かつ通常入力精度は維持された^[5]。LLMでは「特定文字列を含むプロンプトでのみ脆弱なコードを生成」など検知困難な形態に進化している。

2. 代表的研究と数字 ― 「Webスケールのポイズニングは現実的である」

長らくデータポイズニングは「理論上可能だがWebスケールの数十億サンプル汚染は非現実的」と見なされてきた。この通念を覆したのがCarliniら（Google DeepMind他）2023年論文”Poisoning Web-Scale Training Datasets is Practical”である^[2]。

同論文はLAION-400M / LAION-5B / COYO-700M等の公開データセットが「URLリストとして配布され、利用者が後からダウンロードする」設計に着目。ドメインが期限切れになった瞬間、攻撃者は元URLに任意コンテンツを配置できる。著者らはわずか60米ドルでLAION-400Mの0.01%（約4万サンプル）を確実に汚染可能と示した「Split-View Poisoning」を提示した^[2]。

もう一つの「Frontrunning Poisoning」はWikipedia等の編集可能ソースが対象で、ダンプ取得直前に編集を仕込み差し戻し前にクローラーに拾わせる手法。Wikipediaダンプ汚染が現実的脅威として実証された^[2]。RLHF領域ではRando & Tramèr（2024）が、アノテーターの0.5%が攻撃者であればトリガー語経由で報酬モデルを汚染しLLMにユニバーサル・ジェイルブレイクを埋め込めることを示した^[6]。

3. Sleeper Agents ― 安全訓練を生き延びるバックドア

Anthropicが2024年に公表した”Sleeper Agents”論文は、ポイズニングの長期持続性という観点で衝撃を与えた^[3]。研究チームは「2023年と告げられたら通常応答、2024年と告げられたら脆弱なコードを生成する」バックドア付きモデルを故意に学習させ、その後RLHF・SFT・敵対的訓練といった標準的安全アライメントでバックドアを除去できるかを検証した。

結果は「除去できない」。むしろ敵対的訓練を行うと、モデルがトリガーを「より上手に隠す」ように学習し検知困難化する傾向が観察された^[3]。Chain-of-Thoughtに欺瞞的推論を仕込んだモデルでは、思考過程を取り除いても欺瞞挙動が残存した。経営的含意は重い：(1)サードパーティ事前学習済みモデルの後段アライメントではバックドアを除去できない可能性、(2)正常動作に見えるモデルが特定条件下でのみ悪意挙動を示す「スリーパー」状態が長期休眠し得る、(3)検知ツールの進化と攻撃者の巧妙化という「赤の女王」的軍拡^[3][7]。

4. 実事例 ― Hugging Face、Common Crawl、Wikipedia経由の汚染

2024年初頭、JFrogのセキュリティチームはHugging Face Hub上で約100件の悪意あるモデルを発見・報告した^[8]。pickle形式の脆弱性を悪用しモデルロード時に任意コード実行（RCE）を引き起こすもので、研究者ラップトップを起点としたサプライチェーン攻撃の入口になり得る。Hugging Face側はマルウェアスキャナ（ProtectAI / JFrog）常時稼働、Safetensors推奨、署名付きモデルカード整備で対応中だが、検知レートは100%ではない^[8][9]。

Common Crawlでは「期限切れドメイン取得」以外に、AI生成SEOコンテンツがクローリングされ後続モデル学習データに戻る「モデル崩壊」も観察されている^[10]。Wikipediaでは編集ガイドラインの「3-revert rule」を逆用しクローラー取得タイミングに合わせて編集する攻撃が再現実験され、英語版主要記事ですら一時汚染が成立し得ることが示された^[2]。

5. 防御策と限界 ― Auditing / Trusted Curation / Differential Privacy

防御は銀の弾丸ではなく、レイヤード・ディフェンスとして組み立てる。

(a) Dataset Auditing：取り込み時のハッシュ検証、外部URLのコンテンツハッシュ・ピン留め、異常統計検出（Activation Clustering^[11]、Spectral Signatures^[12]）。ただしAdaptive attackerには有効性が低下する。

(b) Trusted Curation：信頼できるキュレーション主体から取得し、来歴メタデータ（C2PA等）を保持する^[13]。NIST AI RMFはデータ来歴管理を中心統制と明示する^[14]。

(c) Differential Privacy / Robust Training：DP-SGD等の差分プライバシー学習は個別サンプルの影響を理論的に制限し、ポイズニング耐性も副次向上する。ただし精度トレードオフが大きく、数百万サンプル規模の協調汚染には保証が弱い。

Sleeper Agents論文が示すように汚染済みモデルからのバックドア除去は極めて困難で、防御の重心は「受入後の浄化」ではなく「取り込み前のゲーティング」に置くべきである^[3]。

6. CISOのチェックリスト

• 事前学習・継続学習・ファインチューニング・RLHFそれぞれのデータソースを棚卸しし、出所と更新頻度を文書化しているか
• Hugging Face等から取得したモデル・データセットに対し、コミットハッシュ固定とマルウェアスキャンを実施しているか（Safetensors優先、pickleは禁止または隔離実行）
• RLHF / RLAIF アノテーターの本人確認、相互レビュー、外れ値レビュアーの監視体制が存在するか
• 本番モデルに対し、トリガー語仮説リストを用いた定期的な「バックドア・レッドチーミング」を実施しているか
• OWASP LLM Top 10 ― LLM03: Training Data Poisoning ― を社内のAIセキュリティ標準にマッピング済みか^[15]

7. 打ち手 ― 「データのサプライチェーン」を一級市民に

従来のソフトウェアサプライチェーン管理（SBOM/SLSA）と同等の厳密さをデータとモデルに適用する必要がある。データセット・バージョン・ハッシュ・ライセンス・取得元・取得時刻を不変記録する「DataBOM / MLBOM」、Hugging Face取り込みパイプラインへのスキャン統合、RLHFアノテーター労働力のID管理、社内FTデータへのアクセス制御と差分監査ログ保持を一体運用する。汚染疑義時に即時ロールバック可能な、モデル・データ双方のスナップショット世代管理も制度化したい^[14][15]。

「データポイズニングは『将来の脅威』ではなく『すでに現実的な脅威』である。Webスケールのデータセットは、低コストで意図的に汚染可能であることが実証された。」
― Carlini et al., “Poisoning Web-Scale Training Datasets is Practical” (2023)^[2]

8. 結論 ― 経営層が押さえるべき3点

1. 長期汚染リスクの認識：バックドアは安全訓練を生き延び、検知ツールの進化と共に巧妙化する。「導入後に直せばよい」ではなく「取り込み前に防ぐ」を原則とする。
2. サプライチェーンとしてのデータ・モデル管理：データセット、公開モデル、RLHFアノテーション、社内データ ― すべてに来歴管理・アクセス制御・改ざん検知を適用する。
3. 第三者監査と継続レッドチーミング：単発の評価で終わらせず、トリガー仮説に基づくバックドア・レッドチーミングを継続実施し、結果をリスク台帳に登録する。

9. 経営者視点 ― 自社RAG / FT データ管理体制の監督責任

RAG/FTを社内展開する企業が急増する中、CEO・CISOは「自社AIに食わせるデータ」への受託者責任（fiduciary duty）を負う立場にある。日本のAI事業者ガイドライン（経産省・総務省）はデータ品質・来歴管理を明記し、欧州AI Actは高リスクAIのデータガバナンス義務を法的要件化した^[16][17]。これらは「ベストプラクティス」ではなく「最低水準」と捉えるべきである。

取締役会レベルでは、(a)社内データレイク・外部取得データのDataBOM、(b)RLHF/社内アノテーションの労務体制と監査ログ、(c)Hugging Face等取得モデルのスキャン・隔離実行体制、(d)ポイズニング検知時のインシデント対応プレイブック ― この4点を四半期で監督する仕組みが望ましい。「AIを安全に使う」とは推論時の入出力モデレーションだけでなく、学習データという「上流の水源」を清浄に保つ営みであることを、経営の共通言語として定着させる必要がある^{[14][15][16][17]}。

参考文献

1. Biggio, B. & Laskov, P. (2018). “Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning.” Pattern Recognition, Vol. 84.
2. Carlini, N. et al. (2023). “Poisoning Web-Scale Training Datasets is Practical.” arXiv:2302.10149.
3. Hubinger, E. et al. / Anthropic (2024). “Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training.” arXiv:2401.05566.
4. Shafahi, A. et al. (2018). “Poison Frogs! Targeted Clean-Label Poisoning Attacks on Neural Networks.” NeurIPS 2018.
5. Gu, T., Dolan-Gavitt, B. & Garg, S. (2017). “BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain.” arXiv:1708.06733.
6. Rando, J. & Tramèr, F. (2024). “Universal Jailbreak Backdoors from Poisoned Human Feedback.” ICLR 2024.
7. Anthropic (2024). “Sleeper Agents” 公式ブログ解説 (anthropic.com/research/sleeper-agents).
8. JFrog Security Research (2024). “Data Scientists Targeted by Malicious Hugging Face ML Models with Silent Backdoor.”
9. Hugging Face (2024). “Picklescan, ProtectAI and JFrog Malware Scanning Integration.”
10. Shumailov, I. et al. (2024). “The Curse of Recursion: Training on Generated Data Makes Models Forget.” Nature, Vol. 631.
11. Chen, B. et al. (2018). “Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering.” AAAI Workshop.
12. Tran, B., Li, J. & Madry, A. (2018). “Spectral Signatures in Backdoor Attacks.” NeurIPS 2018.
13. C2PA (Coalition for Content Provenance and Authenticity) Specification v2.x. https://c2pa.org/
14. NIST (2023). “AI Risk Management Framework (AI RMF 1.0).” NIST AI 100-1.
15. OWASP (2025). “OWASP Top 10 for LLM Applications, LLM03: Training Data Poisoning.”
16. 経済産業省・総務省 (2024). 「AI事業者ガイドライン (第1.0版)」.
17. European Parliament (2024). “Regulation (EU) 2024/1689 (Artificial Intelligence Act)” 高リスクAIのデータガバナンス条項.