CLExEval：用於 LLM 臨床推理定性評估的人工迴圈框架

研究團隊提出 CLExEval 框架，旨在透過人工迴圈機制，針對大型語言模型在逐步掩蓋資訊情境下的臨床推理能力進行評估。該框架結合了 5,600 份專家醫師標註與源自 40 個罕見診斷案例的 200 筆臨床推理軌跡，以解決現有評估中存在的「評估幻覺」風險，即流暢且結構良好的解釋可能掩蓋最終診斷錯誤的問題。

分析揭示了三種反覆出現的失敗模式：首先是冗長性偏差，GPT-4o-mini 在資訊匱乏情境下的診斷準確度從 95.0% 暴跌至 32.5%；其次是隱藏知識悖論，專家模型雖具備 92.5% 的診斷潛力上限，卻無法在冗長情境中可靠地檢索該知識；第三種是 68.6% 的推理與輸出不匹配，即正確診斷出現在推理軌跡中，卻未反映在最終答案裡。

研究進一步在包含 142 個經人類驗證失敗案例的集合上評估了「LLM 作為評判」的範式。結果顯示，GPT-4o-mini 批准了 47.9% 的臨床錯誤輸出，而 HuatuoGPT-o1 則批准了所有有效分數的失敗案例，並展現出正面的自我偏好偏差。這些結果表明，若缺乏專家基礎的驗證，獨立的自動化臨床評估可能會大幅高估臨床可靠性。