MamaBench：通過反事實臨床擾動基準測試 LLM 在母嬰健康診斷中的魯棒性

大型語言模型在醫療基準測試中獲得了高分，但這些測試僅孤立地評估每個問題，無法衡量系統區分臨床表現相似但需要不同干預措施案例的能力。研究團隊因此推出 MamaBench，這是針對母嬰與兒科 AI 的首個反事實基準測試，包含 434 份專家撰寫的臨床敘事，構成 217 對案例，涵蓋 371 種病理情況。該測試通過偏差陷阱率（Bias Trap Rate, BTR）進行評估，即模型在基礎案例成功的情況下，未能通過反事實案例的條件概率。

研究團隊提出了證據錨定檢索增強生成（Evidence-Anchored RAG, EA-RAG）方法，這是一種三階段檢索方法，通過臨床參數提取、覆蓋審計和對比子查詢，將聚合相似性替換為證據覆蓋目標。在四種前沿大型語言模型的八種配置中，基礎準確度在每個模型中都高估了魯棒準確度 16 至 28 個百分點。EA-RAG 在 Claude Sonnet 4.6 上實現了 20.3% 的 BTR 和 65.0% 的魯棒準確度，在沒有降低基礎準確度的情況下，將 BTR 降低了 5.5 個百分點。

儘管 EA-RAG 取得了改進，但殘留的 20% BTR 確認了臨床 AI 中的反事實魯棒性仍然是一個未解決的挑戰。現有研究指出，標準醫療基準無法測試模型在臨床相似但需要不同治療方案的案例中的區分能力，導致對模型能力的評估被高估。