MedArena：比較 LLM 在真實臨床場景中的表現與醫生偏好

摘要

研究團隊推出 MedArena 互動評估平台，讓臨床醫生直接用自己的醫療查詢測試和比較 LLM 的實際表現。平台收集了 1,571 份跨 12 個模型的臨床偏好評分，結果顯示 Gemini 2.0 Flash Thinking、Gemini 2.5 Pro 和 GPT-4o 排名前三，這打破了靜態基準測試與真實臨床應用之間的脫節。