CLExEval：用於 LLM 臨床推理定性評估的人工迴圈框架

CLExEval: A Human-in-the-Loop Framework for Qualitative Evaluation of LLM Clinical Reasoning

每天早上一封信，5 分鐘看完 AI 重點。5min AI 是繁體中文的每日 AI 新聞整理，免費、可隨時取消。

arXiv cs.CL2026-07-01

摘要

研究團隊推出 CLExEval 框架，針對大型語言模型在醫療診斷中的推理能力進行評估。研究發現 LLM 存在三大失敗模式：冗長性偏差導致準確度大幅下降、專家模型知識檢索不穩定，以及推理與輸出不匹配等問題，揭示了當前 LLM 在臨床應用中的關鍵風險。

研究團隊提出 CLExEval 框架，旨在透過人工迴圈機制，針對大型語言模型在逐步掩蓋資訊情境下的臨床推理能力進行評估。該框架結合了 5,600 份專家醫師標註與源自 40 個罕見診斷案例的 200 筆臨床推理軌跡，以解決現有評估中存在的「評估幻覺」風險，即流暢且結構良好的解釋可能掩蓋最終診斷錯誤的問題。

分析揭示了三種反覆出現的失敗模式：首先是冗長性偏差，GPT-4o-mini 在資訊匱乏情境下的診斷準確度從 95.0% 暴跌至 32.5%；其次是隱藏知識悖論，專家模型雖具備 92.5% 的診斷潛力上限，卻無法在冗長情境中可靠地檢索該知識；第三種是 68.6% 的推理與輸出不匹配，即正確診斷出現在推理軌跡中，卻未反映在最終答案裡。

研究進一步在包含 142 個經人類驗證失敗案例的集合上評估了「LLM 作為評判」的範式。結果顯示，GPT-4o-mini 批准了 47.9% 的臨床錯誤輸出，而 HuatuoGPT-o1 則批准了所有有效分數的失敗案例，並展現出正面的自我偏好偏差。這些結果表明，若缺乏專家基礎的驗證，獨立的自動化臨床評估可能會大幅高估臨床可靠性。

●開發者：需重視 LLM 臨床應用中的評估方法學和推理可靠性

●投資人：醫療 AI 領域需要更嚴格的評估標準以降低臨床風險

●一般用戶：在依賴 AI 醫療建議前應認識到現有 LLM 的推理限制

重要性評分

76/100

🟠 值得關注

LLM 臨床評估醫療診斷推理醫療 AI 安全

原文出處

上一則← Amazon 推出 10 億美元 FDE 新部門，跟進 OpenAI 和 Anthropic 下一則Sonnet 5 正式發布，美國聯邦政府解除 Claude Fable 5 出口管制 →

每天早晨收到值得看的 AI 重點。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。