Safe-Psych：評估 LLMs 在精神醫學診斷中的安全性能力

研究團隊推出 Safe-Psych 基準測試，旨在評估大型語言模型（LLMs）在精神醫學診斷中的安全性能力。該測試包含超過 1,000 份真實世界精神科病歷記錄，並將其分段以模擬臨床診療過程中證據逐步揭露的情境。研究針對多個最先進的 LLMs 在完整資訊與序列設定下進行評估，要求模型在「診斷（DIAGNOSE）」、「尋求澄清（CLARIFY）」或「保持沉默（ABSTAIN）」三種由精神科醫師標註的行動標籤中做出正確選擇。

研究發現，模型的能力強弱並不保證其校準度。在資訊不足的臨床情境下，大多數模型的「未保持沉默（under-abstention）」比例超過 60%。這意味著即使能力強大的模型，也常在證據不足時給出不當診斷。在序列評估中，模型經常在證據尚未充分時就進行診斷，且除非被明確提示，否則很少主動尋求澄清。這些過早的診斷準確度低於適時診斷。

此外，研究指出，旨在提升安全性的提示（safety-aware prompting）僅能將錯誤從「過早承諾」轉移為「過度保持沉默」，並未解決根本問題。Safe-Psych 揭示了被評估模型的一個共同限制：無法識別臨床證據是否不完整，以及是否需要額外資訊。研究團隊已發布 Safe-Psych，以支持改善醫療領域中 LLM 安全性的相關研究。