AI Safety Training 可能造成臨床危害

大型語言模型正被大規模部署為心理健康支持代理，然而目前僅有 16% 的基於 LLM 的聊天機器人干預措施經過嚴格的臨床療效測試。模擬研究顯示，在超過三分之一的案例中，患者出現心理惡化。研究團隊對四個生成模型進行了評估，測試內容涵蓋 250 個延長曝露療法（PE）場景、146 個認知行為治療（CBT）認知重構練習，以及 29 個嚴重程度升級的變體，並由三人組的 LLM 評審小組進行評分。

所有模型在表面回應上的得分接近完美（約 0.91-1.00），但在最高嚴重程度下，其中三個模型的治療適當性大幅下降至 0.22-0.33，另有兩個模型的協議保真度（protocol fidelity）降至零。在 CBT 嚴重程度升級的測試中，一個模型的任務完成率從 92% 降至 71%，而前沿模型的安全干擾分數則從 0.99 降至 0.61。

研究確定了系統性的跨模態失敗：RLHF 安全對齊破壞了治療機制。具體表現包括在想像曝露中安撫患者、提供錯誤的安慰、在受控練習中插入危機資源，以及在 PE 中拒絕挑戰提及自殺的扭曲認知；同時在 CBT 認知重構期間出現任務放棄或插入安全前言。研究提出了一個五軸評估框架，包含協議保真度、幻覺風險、行為一致性、危機安全和人口統計學魯棒性，並將其映射到 FDA SaMD 和歐盟 AI 法案的要求。研究主張，任何 AI 心理健康系統在部署前都必須通過這五個維度的多軸評估。