MedArena：比較 LLMs 在臨床實務中的表現與醫生偏好

摘要

研究團隊推出 MedArena 互動評估平台，讓臨床醫生直接用自己的真實病例查詢來測試和比較 LLMs 的表現。平台收集了 1,571 份醫生偏好評比資料，覆蓋 12 個模型，結果顯示 Gemini 2.0 Flash Thinking、Gemini 2.5 Pro 和 GPT-4o 排名前三。這項研究突破了靜態基準測試的限制，更真實地反映 LLMs 在臨床工作流中的實際價值。