MedRealMM：中文線上醫療諮詢的真實世界多模態基準測試

研究團隊推出 MedRealMM，這是一個基於全國性中國網路醫院去識別化患者與醫生互動數據構建的大規模多模態基準測試。該研究針對大型語言模型（LLMs）在線上醫療諮詢中日益廣泛的部署，指出現有基準測試與真實臨床實踐嚴重脫節的問題。

現有方法多依賴合成對話或患者模擬器，且往往遺漏患者上傳的醫療影像。此外，它們使用多選題或詞彙重疊指標來評估開放式臨床回應，這些指標無法真實反映臨床品質。MedRealMM 透過 Multimodal Clinical Challenge Point (MCCP) 提取框架，識別真實諮詢軌跡中的臨床挑戰時刻，並將每個時刻轉換為標準化的下一步回應生成任務，同時保留前文的文字與影像情境。

每個數據實例都配有一個由醫師精調的特定案例評分標準（case-specific rubric refined by physicians），用以評估大型語言模型的臨床回應品質。此方法旨在解決現有基準測試在數據來源、多模態內容及評估指標上的不足，提供更貼近實際臨床需求的評估方式。