醫療LLM存在幻覺風險：大規模評估揭露MedGPT安全隱患

Do No Harm? Hallucination and Actor-Level Abuse in Web-Deployed Medical Large Language Models

arXiv cs.CL · 2026-05-21

摘要

研究人員對6,233個醫療GPT模型進行大規模評估，發現25-30%存在低事實準確度問題，超過半數缺乏隱私披露。這項研究透過新開發的幻覺檢測框架和政策違規評估工具，揭示了當前部署在網路平台的醫療AI模型存在的系統性風險，包括臨床指導不當和用戶隱私保護不足。

研究人員針對部署於網路平台以提供臨床指導的醫療大型語言模型（LLMs），包括自訂醫療 GPT（MedGPTs）與開源模型，進行了大規模評估。研究團隊共分析了 6,233 個 MedGPTs，並對其中 1,500 個分層抽樣樣本以及 10 個開源 LLMs 進行評估，同時開發了名為 MedGPT-HEval 的幻覺檢測框架，以及基於 LLM 的管道用於評估政策違規與開發者意圖。

評估結果顯示，25% 至 30% 的 MedGPTs 存在事實準確度低下的問題，且底層與中層級模型面臨的風險最高。在政策合規方面，33.6% 至 54.3% 的模型違反了操作閾值，而 57.06% 具備行動功能的模型缺乏足夠的隱私披露。與開源模型相比，MedGPTs 在事實準確度與語義對齊方面表現較高，但開源模型則展現出更高的穩定性。

研究揭示了當前醫療 AI 在幻覺與合規方面存在的系統性缺口，強調需要多指標評估與更強的安全保障措施。為支持未來針對網路端醫療 LLMs 安全性的研究，研究團隊已發布名為 HAA-MedGPT 的結構化數據集。

●開發者：需重視醫療LLM的事實準確性驗證和隱私合規流程

●投資人：醫療AI領域需強化質量把關和合規機制以降低法律風險

●一般用戶：應謹慎依賴網路醫療AI工具進行臨床決策，存在獲得不準確醫療建議的風險

重要性評分

78/100

🟠 值得關注

醫療LLM幻覺檢測事實準確性

原文出處

上一則← Anthropic 擴展至 Colossus2，將使用 GB200 晶片下一則現有 RAG 架構僅能檢索相關文件，卻無法解決 AI Age... →

喜歡這篇？每天早晨還有更多。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。