臨床 AI 工具在真實臨床查詢中的專家評估

研究指出，目前醫師每週向 AI 工具提出數百萬個臨床問題，但這些工具的評估大多基於假設性或考試風格的問題，而非實際臨床場景中的真實查詢。為解決此落差，研究團隊針對 620 個來自 OpenEvidence (OE) 平台的真實點對點臨床查詢（Real-POCQi）以及 187 個來自 HealthBench 的問題，進行了盲測評估。參與評估的對象涵蓋 36 個州的 149 位執業醫師，他們針對來自 30 個醫療專科的問題，將三款前沿通用模型（Claude Opus 4.8、Gemini 3.1 Pro 和 GPT-5.5）與專科臨床工具 OE 進行直接對比，且評分者均與問題所屬專科相匹配。

在準確性、臨床實用性、資訊來源品質、可驗證性以及完整性這五個與臨床決策支援相關的維度上，醫師們對專科臨床工具 OE 的評分在所有軸線上均高於通用 AI 模型。在針對 Real-POCQi 的主要分析中，勝率與敗率之間的差距（win differences）介於 25 至 39 個百分點之間，且統計顯著性達到 p<0.001。即使在根據引用顯示、答案長度、OE 使用者身份以及 Real-POCQi 與 HealthBench 進行分層敏感性分析後，結果仍保持一致。

研究同時發現，大型語言模型（LLM）評審與專家評審在判斷上存在系統性差異，儘管雙方通常對最佳模型達成共識。研究強調兩個結論：第一，AI 工具的評估應反映真實世界的查詢分佈，並使用能反映現代醫學專業化的專家評審；第二，專科工具相對於通用模型的優勢，並不意味著通用模型無法發揮類似作用，而是表明針對性的工程設計與客製化能為用戶帶來有意義的效能提升。研究團隊已將 Real-POCQi 作為公開基準發布，並公開了預先規定的統計分析以重現研究結果。