医療AI誤診断インシデント ― 責任は医師かベンダーか

医療AI誤診断インシデント ― 責任は医師かベンダーか

画像診断、敗血症早期警告、糖尿病性網膜症スクリーニング――医療AIはすでに臨床意思決定に深く食い込んでいる。同時に「AI が誤推奨を出し患者に有害事象が生じた場合、誰が法的責任を負うのか」に、医療機関もベンダーも十分な答えを持たない。本稿は IBM Watson for Oncology・Epic Sepsis Model 等の海外事例をファクトベースで整理し、FDA・PMDA の規制、薬機法・医師法・民法の責任構成を踏まえ、経営層・法務担当が着手すべき統制レバーを提示する。^[1][2]

1. 医療AIの普及と事故の現状

医療AIは実証から日常運用へ移行している。FDA は 2024 年末時点で AI/ML 組込医療機器を 950 件超認可し、大半は放射線・循環器・眼科の画像診断補助である^[3]。日本でも PMDA が 2018 年の評価指標公表以降 AI 搭載 SaMD 承認を拡大し、2024 年時点で 30 件以上が承認済みとされる^[4]。一方で現場リテラシーと制度ガードレールが追いつかず、「誤判定に気付かず治療進行」「スコア盲信で優先順位を誤る」事例が顕在化。AHRQ は 2023 年白書で AI 由来事象を医療事故報告制度でどう扱うかを論点化した^[5]。

本質は AI が確率的意思決定支援である点だ。誤差は技術的に不可避で、それが転帰に直結するのが医療領域の特性である。責任論は「ゼロエラー保証」ではなく「許容リスクをどう設計し、誰がどの層で責任を持つか」というガバナンス問題に収斂する。

2. 代表事例 ― Watson for Oncology と Epic Sepsis Model

IBM Watson for Oncology（WFO）は 2013 年に MD Anderson と共同開始した腫瘍治療推奨 AI である。2017 年に Stat News と IBM 内部資料が報じた「unsafe and incorrect treatment recommendations」問題は象徴的事例だ。Memorial Sloan Kettering の少数症例で学習したため、「実在しない患者シナリオに基づく治療推奨」「重度出血リスク患者への bevacizumab 推奨」が内部レビューで指摘された^[6]。MD Anderson は 6,200 万ドル超を投じたプロジェクトを実装前に中止し、IBM は 2022 年に Watson Health を売却し事実上撤退した^[7]。「市場投入前検証の甘さ」「学習データ代表性不足」がベンダー責任の論点として残った。

Epic Sepsis Model（ESM）は米 EHR 最大手 Epic 提供の敗血症早期警告 AI で主要病院に広く導入されている。2021 年 JAMA Internal Medicine 掲載のミシガン大検証は、約 27,000 入院患者で AUC 0.63 にとどまり、Epic 公称 0.76〜0.83 を大きく下回ると報告した。敗血症患者の 67% を見逃し、警告の真陽性はわずか 12% であった^[8]。EHR 標準搭載ゆえに「AI が鳴らない＝低リスク」と臨床医が暗黙解釈する automation bias の典型例だ。本件は「ベンダー公称値と実環境性能の乖離」「医療機関側の独立検証義務」を世界的議論に引き上げた^[9]。

対照的に IDx-DR（現 Digital Diagnostics）は 2018 年、自律診断 AI として初の FDA De Novo 認可を得た糖尿病性網膜症スクリーニング AI である。プライマリケア医が眼底画像を撮影するだけで AI が「専門医紹介要否」を単独判定し、感度 87.4%・特異度 89.5% で承認された^[10]。開発元が「AI 判定誤りによる医療過誤の製造者責任を引き受ける」と公式表明している点が、責任配分のモデルケースとして注目される。

3. 責任配分の法的論点

医療 AI の事故責任は、医療過誤訴訟の二者構造（医師・患者）に「ベンダー」「医療機関」「データ提供者」が加わる多層構造となる。論点は四つに整理できる。

(a) 製品責任 vs 役務責任。AI が SaMD として薬事承認を受けている場合、不具合は原則 PL 法の射程に入る。一方、ベンダーが「医師の判断補助」と位置付けて売る場合、最終判断は医師にあり、AI 提供は役務として過失責任が中心となる。

(b) 学習データの瑕疵。WFO のように学習データが特定施設・人種に偏れば、分布乖離による誤判定の予見可能性がベンダー責任の論点となる。FDA の Good Machine Learning Practice（GMLP, 2021）と 2023 年 Predetermined Change Control Plan（PCCP）ガイダンスは、学習データの代表性と更新時再検証を製造者責務として明示している^[11]。

(c) 自動化バイアスと医師の最終確認義務。ESM 事例のとおり、AI 出力を無批判に受容した過誤は医師の注意義務違反と評価される。逆に医師が AI 警告を無視して有害事象が生じた場合、警告履歴がカルテ証拠となり医師の過失立証が容易化する非対称性が生じる。

(d) 継続学習モデルの「動く標的」問題。従来の医療機器は承認時状態で固定されるが、ML モデルは運用中に性能がドリフトする。米国では PRIA Act 等の議論や FDA AI/ML Action Plan により、PCCP に沿う「想定内変更」は再申請不要となる枠組みが整いつつあるが、想定外ドリフト時の責任主体は依然グレーだ^[12]。

4. 日本法での適用 ― 薬機法・民法 709/715/717

日本では医療 AI は薬機法上の SaMDとして規制され、リスクに応じクラス I〜IV に分類される。診断補助 AI は通常クラス II 以上で PMDA 承認・認証または届出が必要となる^[13]。2023 年改正薬機法は AI 特有の「市販後変更管理計画（IDATEN 制度）」を導入し、変更計画を含めて承認審査する仕組みを整えた。FDA PCCP に近い設計思想である。

民事責任は三条が中心軸となる。民法 709 条は医師の注意義務違反、715 条は医療機関の使用者責任、717 条類推で製造物責任が論じられる。AI の「製造物」該当性が第一論点で、HW 組込型は PL 法対象、純粋 SW は PL 法直接適用が困難で 709 条構成が中心となる。経産省「AI・データの利用に関する契約ガイドライン」（2022 改訂）は責任分担の契約明確化を推奨しており、調達契約への反映が必要だ^[14]。

医師法 17 条は診断行為を医師の独占業務とする。厚労省 2018 年通知は、AI は補助ツールであり最終判断責任は医師にあるとの解釈を明確にした^[15]。よって日本では IDx-DR 型の自律診断 AI を「医師関与なく完結する」モデルで運用することは現行法上極めて困難だ。

5. 医師の説明義務と AI の位置づけ

医師にはインフォームド・コンセント義務がある（最判平成 13・11・27 民集 55 巻 6 号 1154 頁ほか）。AI を用いた診断・治療では、(1) AI 使用の事実、(2) AI の精度・限界、(3) 医師による最終判断の有無――を説明することが、判例理論の延長線上で求められると解されている^[16]。

とくに保険適用外・標準治療外で AI を使う場合、患者が「AI 判断であること」を知らされなければ、判定が正しくても説明義務違反として賠償請求の根拠となり得る。日本医療機能評価機構も AI 起因事象の報告枠組みを整備中だ。医療機関は説明書テンプレ・同意の電子記録・AI 関与範囲のカルテ記載ルールをセットで整備する必要がある。

6. 経営者・法務担当のチェックリスト 5 項目

1. 薬事区分：AI が PMDA 承認の SaMD か、研究ツールか、業務支援ソフトかを明確化し、保険・自由診療の区分を整理しているか。
2. 外部検証：ベンダー公称性能を自院データで再現する独立検証を、導入前および年 1 回以上実施しているか（ESM 教訓）。
3. 責任分担条項：調達契約に AI 起因事故の賠償・補償・付保の分担、学習データ瑕疵時の製造者責任を明記しているか。
4. 説明・同意：AI 使用事実・精度・限界・医師最終判断を患者説明し、電子カルテに記録する標準フローを整備しているか。
5. 有害事象報告：AI 起因事象を医療事故調査制度・PMDA 不具合報告に確実に上げる院内ルートを定義しているか。

7. 打ち手 ― ガバナンスの三層モデル

打ち手は技術・運用・契約の三層設計が実務的だ。技術層は AI 出力に信頼度スコアと不確実性指標を併記させ、閾値超過時に医師レビューを強制する UI を要求。運用層は AI 警告への医師対応（受容・棄却・保留）をカルテに構造化記録し、四半期で性能ドリフトと医師判断の乖離を監査。契約層はベンダーに SLA・性能保証・更新通知・脆弱性開示・賠償上限引き上げを要求する。三層を一つのガバナンス委員会で横串管理することが、AI 時代の医療機関リスク管理の最低ラインとなる。

「AI は医師を置き換えない。しかし AI を使いこなせる医療機関と使いこなせない医療機関の差は、患者転帰と訴訟リスクの両面で決定的になる。経営として問うべきは『AI を入れるか否か』ではなく『どのガバナンス層に投資し、どの責任を契約で外出しするか』である。」

8. 結論 ― 経営層が押さえるべき三点

1. 責任は分散するが消えない。AI 導入で医師個人の負担は減っても、医療機関全体の管理責任（民法 715 条）と説明義務は逆に重くなる。
2. ベンダー公称性能は出発点に過ぎない。Epic Sepsis の教訓は「自院データでの独立検証なくして AI 運用なし」を示している。
3. 契約とガバナンス設計が訴訟耐性を決める。調達段階で責任分担・損害賠償・モデル更新の再検証義務を契約に書き込めるか否かが、有事の経営リスクを左右する。

9. 経営者視点 ― AI ガバナンスは経営アジェンダである

医療 AI 責任論は、もはや医療安全部門だけの論点ではない。経営層の本質的イシューは「AI 起因事故時、どこまでが当院負担でどこからがベンダー・保険でカバーされるか」を事故発生前に契約・規程・保険でストラクチャー化できているかだ。米国では医療 AI 専用賠償責任保険（医師個人賠責への AI ライダー、医療機関向け cyber + medtech 統合保険）が既に登場し、日本でも 2025 年以降に主要損保が同種商品を投入する見込みである。

打つべきレバーは三つ。第一に AI ガバナンス委員会を CMO・CIO・法務・リスク管理・現場代表で構成し、四半期で性能監査・インシデントレビュー・契約棚卸を回す。第二に 標準調達条項として、SaMD 認証、学習データ開示、性能保証 SLA、賠償上限、モデル更新時再検証義務を共通項目化する。第三に 説明同意の標準化として AI 使用事実と限界の患者説明テンプレを整備し電子カルテに証跡を残す。守りの投資だが、将来の数億円規模訴訟リスクを削るレバレッジは大きい。AI ガバナンスへの投資なくして医療 AI の本格運用はあり得ない。

参考文献

1. U.S. Food and Drug Administration. “Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices.” FDA, 2024.
2. JAMA Internal Medicine. “External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients.” Wong A, et al. 2021;181(8):1065-1070.
3. FDA. “Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan.” 2021.
4. 独立行政法人医薬品医療機器総合機構（PMDA）「人工知能技術を利用した医療機器の評価指標」2018 年。
5. Agency for Healthcare Research and Quality (AHRQ). “Patient Safety Concerns in AI-Enabled Clinical Decision Support.” 2023.
6. Ross C, Swetlitz I. “IBM’s Watson supercomputer recommended ‘unsafe and incorrect’ cancer treatments.” STAT News, 2018.
7. Strickland E. “How IBM Watson Overpromised and Underdelivered on AI Health Care.” IEEE Spectrum, 2019.
8. Wong A, et al. “External Validation of a Widely Implemented Proprietary Sepsis Prediction Model.” JAMA Intern Med. 2021;181(8):1065-1070.
9. Habib AR, Lin AL, Grant RW. “The Epic Sepsis Model Falls Short.” JAMA Intern Med. 2021;181(8):1040-1041.
10. Abramoff MD, et al. “Pivotal trial of an autonomous AI-based diagnostic system for diabetic retinopathy.” npj Digital Medicine. 2018;1:39.
11. FDA. “Marketing Submission Recommendations for a Predetermined Change Control Plan (PCCP).” Draft Guidance, 2023.
12. FDA/Health Canada/MHRA. “Good Machine Learning Practice for Medical Device Development.” 2021.
13. 厚労省「プログラムの医療機器該当性に関するガイドライン」2021 改訂。
14. 経産省「AI・データの利用に関する契約ガイドライン 1.1」2019（2022 補訂）。
15. 厚労省医政局医事課長通知 医政医発 1219 第 1 号「AI を用いた診断・治療支援プログラムの利用と医師法 17 条の規定との関係について」2018。
16. 最判平成 13・11・27 民集 55 巻 6 号 1154 頁（説明義務リーディングケース）。
17. 日本医療機能評価機構「医療事故情報収集等事業 年報」2023。