偏好非安全：成對偏好評估對臨床安全的指標效力有限

Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

arXiv cs.CL · 2026-08-05

摘要

一項針對 26,804 個成對判斷的研究發現，臨床醫生的偏好評估並非臨床安全的可靠指標。研究通過 MOOVE 平台收集超過 736 位來自 28 個國家的臨床醫生的盲測評估，發現在成對偏好中排名高的 LLM 模型仍可能在「無害性」和「準確性」等關鍵安全維度出現大量臨床失敗，且這些風險在不同醫療專科間分布不均勻。

●開發者：評估 LLM 醫療安全時應採用多維度評分而非單純偏好比較

●投資人：醫療 AI 產品需投入更嚴格的多層級安全驗證機制

●一般用戶：醫療 AI 工具選擇時需警覺表面評分可能隱藏真實風險

重要性評分

76/100

🟠 值得關注

LLM 安全評估臨床驗證醫療 AI

原文出處

上一則← Agent Operating System (AOS)：分佈式智能系統的參考架構下一則LLM 安全對齐中的理解-遏制脱鉤：低資源孟加拉語貶低言論的安全漏洞 →

喜歡這篇？每天早晨還有更多。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。