LLMs 能否遵循醫學專家邏輯？LogiMed-RoB 基準測試揭示 AI 推理的層級一致性危機

Can LLMs Follow Medical Expert Logic? A Benchmark for Hierarchical Logical Consistency in Risk-of-Bias Assessment

arXiv cs.AI · 2026-09-12

摘要

研究團隊推出 LogiMed-RoB 基準，用 860 份隨機對照試驗和 14,820 個查詢來評估 LLMs 在醫學證據推理中的邏輯一致性。實驗發現一個嚴重問題：即使頂級模型在原子層級達到 98.88% 的一致性，端到端推理準確率卻急劇下降至 45.13%，部分開源模型甚至接近零。這揭露了 AI 在複雜醫學決策中存在的系統性推理缺陷，對臨床應用的安全性構成重大威脅。

研究團隊推出 LogiMed-RoB 基準，用以評估大語言模型在醫學證據推理中的邏輯一致性。該基準以 Cochrane Risk of Bias (RoB) 2.0 專家邏輯為基礎，包含 860 份隨機對照試驗和 14,820 個查詢。

評估框架採用層級邏輯一致性（Hierarchical Logical Consistency, HLC）架構，涵蓋四個維度：原子層級一致性（Atomic Consistency）、領域一致性（Domain Consistency）、聚合一致性（Aggregation Consistency）及證據忠實度（Evidential Faithfulness）。

對 10 個最先進的 LLMs 進行實驗後發現錯誤複合效應（Error Compounding Effect）。頂級模型在原子層級一致性達到 98.88%，但端到端一致性急劇下降至 45.13%，多個開源模型甚至接近 0%。

研究還揭示系統性的證據推理差距：即使模型檢索到高質量證據，仍在推導正確結論時失敗，失敗率達 18.63% 以上。

●開發者：需要重新思考 LLMs 在關鍵決策任務中的架構設計，尤其是多步驟邏輯推導的可靠性

●投資人：醫療 AI 領域的商業化存在更大技術障礙，模型端到端表現遠低於預期

●一般用戶：使用 AI 輔助醫療決策時應保持高度謹慎，AI 的推理能力遠未達臨床應用標準

重要性評分

78/100

🟠 值得關注

LLM 推理一致性醫學決策LogiMed-RoB 基準

原文出處

上一則← Jensen Huang 解釋 Nvidia 為何將在明年增長 70%下一則Meta 的 AI 助手 Muse 成為美國第二大應用 →

喜歡這篇？每天早晨還有更多。