精神醫學領域 LLM 可靠性審計：評估 LLM 生成的住院風險評分

大型語言模型（LLMs）在臨床推理與風險評估中的應用日益增加，但在精神醫學等關鍵且存在不確定性的領域，其解釋可靠性仍不明確。現有研究雖已指出這些系統存在演算法偏差與提示敏感性，且關注情境資訊如何影響模型輸出，但目前尚無系統性方法來評估這些問題，特別是在精神醫學領域。

研究團隊提出了一套針對下游 LLM 任務的可靠性審計方法，將評估重點結構化地聚焦於提示詞設計（prompt design）以及納入醫學上無關緊要的輸入（medically insignificant inputs）對預測住院風險評分（hospitalization risk scores）的影響。住院風險評分常被視為第一個下游 AI 臨床決策任務。

在審計過程中，研究團隊生成了包含 50 個合成患者檔案（synthetic patient profiles）的群體（n = 50）。每個檔案包含 15 個臨床相關特徵（clinically relevant features）以及多達 50 個臨床無關緊要特徵，並跨越四個不同的情境進行測試，以驗證該審計方法的實際效果。