領域微調大型語言模型的安全防護流失：生物醫學 LLM 知識性拒絕行為配對審查

現有研究多聚焦於價值中心的拒絕行為，而本研究將焦點轉向知識中心的適當拒絕行為，探討領域微調對大型語言模型安全防護機制的具體影響。儘管領域微調被認為能以較低成本訓練出高效能模型，但可能引發非預期的行為改變，導致安全防護機制流失。由於跨模型架構、數據混合及微調方法的大規模研究仍然有限，團隊針對生物醫學領域的快速擴張趨勢進行了深入審查。

研究團隊選取了 25 個生物醫學領域微調的大型語言模型，並將其與 11 個配對的基礎檢查點進行對比分析。評估過程採用 MedAbstain 和 ClinDet-Bench 這兩個基準測試，旨在量化微調過程對知識中心適當拒絕能力的實際影響。數據結果顯示，基礎模型在適當拒絕回答方面的表現原本就處於低水準，在 MedAbstain 基準測試中的中位數僅為 8.3%。經過領域微調後，這一指標進一步下降，中位數降至 4.2%。

這種顯著下降表明，微調過程削弱了模型在面對不確定知識時保持沉默或拒絕回答的能力。研究指出，雖然微調能提升特定領域的效能，但也可能導致模型在知識性拒絕行為上出現配對審查下的流失現象。這意味著模型在處理生物醫學專業問題時，可能更傾向於提供不確定的答案而非拒絕回答，從而增加產生錯誤資訊的風險。此發現補充了過往僅關注價值中心拒絕的研究空白，強調了在生物醫學等高風險領域應用領域微調模型時，需特別注意其知識中心適當拒絕能力的變化。