解説

ファインチューニングとは ― 企業データを使った学習のリスク

admin · · 最終更新 2026年5月17日 · 14 min read

Picsum ID: 402

ファインチューニングは、基盤モデルに自社データを追加学習させる技術としてここ数年で急速に普及した。「RAGでは精度が出ない」「独自の言い回しを再現したい」という現場ニーズに応え、多くの企業がOpenAIやAzure OpenAI、AWS Bedrockのファインチューニング機能を使い始めている。しかしCISO・情シス視点では、ファインチューニングは「自社データをモデル側に恒久的に預ける」という、RAGとは質的に異なるリスクを伴う。モデルのパラメータに学習データが埋め込まれる以上、後から完全に消すことは技術的に困難で、特定条件下では元データを逆算される研究も発表されている[1][2]。本稿では4手法の違い、主要APIのデータ保持ポリシー、実証済みリスクを整理する。

ファインチューニングの4手法と違い

ファインチューニングは4種類に大別される。Full Fine-tuningは全パラメータを更新する最も強力な手法だが、GPU数十枚規模を要し、過学習・破滅的忘却のリスクが高い[3]。LoRAはHuらが2021年に提案した手法で、元のパラメータを凍結し低ランク行列のみを学習することで学習コストを数十分の一に削減する[4]。QLoRAはDettmersらが2023年に発表し、4bit量子化とLoRAを組み合わせ、65BモデルでさえA100 48GB 1枚で学習可能にした[5]。Instruction Tuningは入力-出力ペアで「指示に従う能力」を教える手法で、Alpaca等で広く使われる[6]。これらを総称するPEFTは、Hugging Faceのライブラリで事実上の標準となった[7]。手法を問わず「学習データがモデル重みに埋め込まれる」点は共通しており、情報漏洩リスクは軽減されるが消滅しない。

主要APIのデータ保持ポリシー比較

ファインチューニング検討時、最初に精査すべきはベンダーのデータ保持ポリシーである。Azure OpenAI ServiceはFT済みモデルを顧客専用Azureテナント内に配置し、学習データはリージョン内保管、他顧客の学習やOpenAI本体への送信はないと明記する[8]。「Zero Data Retention」申請により、プロンプト・応答ログの30日保管も免除可能である[9]。AWS Bedrockのカスタムモデルは学習データをS3顧客アカウントに保持し、学習後のモデルも顧客KMSキーで暗号化される[10]。OpenAI Direct APIはFTデータを保持するが、APIデータを基盤モデルの再学習には使わないと明示する[11]。Anthropic Claudeは2026年時点で一般公開のセルフサービスFT APIを提供しておらず、Amazon Bedrock経由の限定提供である[12]。Google Vertex AIはGeminiチューニングをサポートし、データは顧客プロジェクト内で処理、基盤モデル訓練には使用しないと規定する[13]。契約レビュー時は「モデル重みの所有権」「学習後のデータ削除権」「サブプロセッサ一覧」「リージョン固定の有無」を必ず確認すべきである。

セキュリティリスクの類型

FT特有のリスクは4類型に整理できる。第一のTraining Data Extractionは、特定プロンプトで学習データを逐語的に復元する攻撃で、Carliniらが2021年にGPT-2から個人のメールや電話番号を抽出、2023年には本番GPT-3.5-turboからも学習データ片を引き出せることを示した[1][14]。第二のMembership Inference Attackは、あるデータが学習セットに含まれていたかを推論する攻撃で、Shokriらの基礎研究以降、LLMでも適用可能と確認されている[15]。顧客リストの一部が学習に使われたと判明するだけで個人情報漏洩となり得る。第三のSafety Alignment Degradationは、Qiらが2023年に発表した発見で、わずか10件程度の有害データや、逆に無害な100件でFTしただけでGPT-3.5-turboやLlama-2の安全アラインメントが崩壊することが実証された[2]。第四のSystem Prompt Leakageは、学習データに含まれた社内指示が出力に漏洩する現象で、OWASP LLM Top 10のLLM07およびLLM04に該当する[16]。

実事故・研究事例

代表的な研究を時系列で並べる。Carlini et al.（USENIX Security 2021）はGPT-2から600件以上の学習データを逐語抽出できることを示した古典的論文である[1]。Nasr et al.（2023）はGPT-3.5-turboに「poem poem poem…」を繰り返させる攻撃で学習データを吐き出させ、OpenAIが緊急にAPI側で対策を入れる事態となった[14]。Qi et al.（ICLR 2024）は安全崩壊を実証し、OpenAI公式のFine-tuning APIでも再現できた点で業界に衝撃を与えた[2]。Shokriらの基礎研究以降のMIA系研究群も、FT済みモデルから学習データ帰属を推論可能なことを示している[15]。

「匿名化済み」データの落とし穴

「個人名をマスクしたから安全」という誤解は実務で最も多い。Lukasらの2023年研究は、マスキング済みデータで学習させたモデルでも、文脈から元のPIIを再構築できるケースを示した[17]。たとえば「東京都●●区在住の30代男性、糖尿病、勤務先●●商事」といった記述は、4属性の交差で個人特定可能になる（k-匿名性の破綻）。さらにFT後のモデルは、学習データに頻出した固有名詞を「ありそうな補完」として出力しがちで、実在する取引先名や顧客番号の断片を復元する事故が国内外で報告されている。PIIの完全削除は現実的に不可能で、差分プライバシー（DP-SGD）等の数学的保証を導入しない限りリスクはゼロにならないと前提すべきである[18]。

チェックリスト

  • 学習データに含まれるPII・機密情報を第三者レビュー済みか（自部署のみの確認ではなく、法務・情シスの独立チェック）
  • ファインチューニング後のモデル重み・中間アーティファクトの削除権が契約で担保されているか
  • 安全アラインメント劣化を検知するための評価セット（赤チーム用プロンプト）を事前準備しているか
  • 差分プライバシー、勾配クリッピング、学習データ重複除去のいずれを採用するか明文化されているか
  • モデル出力のログ監視で、学習データの逐語的復元が起きていないか継続的に検査しているか

打ち手

現実解は「FTをやめる」ではなく「リスク階層に応じて手法を選ぶ」ことである。第一に、社内用語の再現が目的ならRAG＋プロンプトで十分なことが多く、まず検証すべきである[19]。第二に、どうしてもFTが必要な場合はAzure OpenAIやVertex AI等の顧客専用環境で、PII除去・重複除去・差分プライバシーを組み合わせる。第三に、学習後は必ずレッドチーミングで安全性を再評価し、OWASP LLM Top 10の全項目に対する回帰テストを実施する[16]。

重みに書き込んだデータは、契約書では消せない。

Omamori AI の結論

  1. 事実: ファインチューニングは学習データをモデル重みに恒久的に埋め込む。研究ではGPT-3.5-turboからの学習データ逐語抽出、わずか数件の無害データでの安全崩壊が再現実証されており、契約上の「データ削除」とモデル重みに残る情報は別物である[1][2]。
  2. 判断軸: 「RAGで代替できるか」「顧客専用環境か」「モデル重みの削除権があるか」「差分プライバシー等の数学的保証を入れるか」の4点で意思決定する。一つでもNoなら、業務適用スコープを縮小する。
  3. 打ち手: まずRAGで要件を満たせないか検証し、必要時のみAzure OpenAI/Vertex AI/Bedrockの顧客専用FTを選ぶ。学習前のPII監査、学習後の赤チーム評価、出力ログの継続監視を三点セットで運用する。

経営者視点で考えるべきこと

ファインチューニングが経営論点になる理由は、通常のSaaS利用と異なり「自社顧客のデータを第三者の学習プロセスに投入する」構造にある。個人情報保護法上、顧客から取得した個人データを当初の利用目的外で学習に使えば違反の可能性が高く、第三者提供に該当すれば同意取得の再設計が必要になる[20]。さらに学習済みモデル自体が「個人情報を含む可能性のある資産」となり、廃棄・譲渡時の取扱いが不透明化する。取締役の善管注意義務の観点では、(1) どの部門がどのデータでFTしているかの棚卸、(2) ベンダー契約のデータ保持・削除条項レビュー、(3) 事故時の報告義務と保険カバー範囲の確認、の3点を内部統制として整備すべきである。技術部門任せでは統制が効かない領域であり、CISO・法務・事業責任者の三者合議でリスク許容度を決めるのが望ましい。

参考文献・出典

  1. Carlini, N. et al. “Extracting Training Data from Large Language Models.” USENIX Security Symposium, 2021. https://arxiv.org/abs/2012.07805
  2. Qi, X. et al. “Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!” ICLR, 2024. https://arxiv.org/abs/2310.03693
  3. Kirkpatrick, J. et al. “Overcoming catastrophic forgetting in neural networks.” PNAS, 2017. https://arxiv.org/abs/1612.00796
  4. Hu, E. et al. “LoRA: Low-Rank Adaptation of Large Language Models.” ICLR, 2022. https://arxiv.org/abs/2106.09685
  5. Dettmers, T. et al. “QLoRA: Efficient Finetuning of Quantized LLMs.” NeurIPS, 2023. https://arxiv.org/abs/2305.14314
  6. Taori, R. et al. “Stanford Alpaca: An Instruction-following LLaMA Model.” Stanford CRFM, 2023. https://crfm.stanford.edu/2023/03/13/alpaca.html
  7. Hugging Face. “PEFT: Parameter-Efficient Fine-Tuning library.” https://huggingface.co/docs/peft
  8. Microsoft. “Data, privacy, and security for Azure OpenAI Service.” Microsoft Learn, 2024. https://learn.microsoft.com/azure/ai-services/openai/how-to/fine-tuning
  9. Microsoft. “Azure OpenAI abuse monitoring and zero data retention.” https://learn.microsoft.com/azure/ai-services/openai/concepts/abuse-monitoring
  10. AWS. “Custom models in Amazon Bedrock – data protection.” https://docs.aws.amazon.com/bedrock/latest/userguide/custom-models.html
  11. OpenAI. “API data usage policies.” https://openai.com/policies/api-data-usage-policies
  12. Anthropic / AWS. “Fine-tuning Claude models on Amazon Bedrock.” https://docs.aws.amazon.com/bedrock/latest/userguide/model-customization.html
  13. Google Cloud. “Vertex AI generative AI data governance.” https://cloud.google.com/vertex-ai/generative-ai/docs/data-governance
  14. Nasr, M. et al. “Scalable Extraction of Training Data from (Production) Language Models.” 2023. https://arxiv.org/abs/2311.17035
  15. Shokri, R. et al. “Membership Inference Attacks Against Machine Learning Models.” IEEE S&P, 2017. https://arxiv.org/abs/1610.05820
  16. OWASP. “Top 10 for LLM Applications 2025.” https://genai.owasp.org/llm-top-10/
  17. Lukas, N. et al. “Analyzing Leakage of Personally Identifiable Information in Language Models.” IEEE S&P, 2023. https://arxiv.org/abs/2302.00539
  18. Abadi, M. et al. “Deep Learning with Differential Privacy.” ACM CCS, 2016. https://arxiv.org/abs/1607.00133
  19. Lewis, P. et al. “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.” NeurIPS, 2020. https://arxiv.org/abs/2005.11401
  20. 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」2023年6月。https://www.ppc.go.jp/news/press/2023/230602_AI_utilize_alert/
SHARE 𝕏 in f
編集部
Omamori AI 編集部
CISO・情シス・経営層向けに、AIセキュリティの一次情報を編集視点で整理

あわせて読みたい

記事の論点を、自社のリスク評価に

90秒の自己診断 or CISO/情シス向け月次レビュー（顧問契約）でアクションに繋げます。

無料 90秒 自己診断 顧問契約 詳細