LLMs 是否具有價值觀？大型語言模型價值體系的定量分析與對齊框架

大型語言模型的價值觀之謎：定量分析與對齊框架

大型語言模型（LLM）處理的主觀任務越來越多，如何讓模型行為跟人類價值觀對齊，變成一個關鍵的科學挑戰。一項新研究點出這個問題的核心矛盾：這些模型措辭稍微改一下就會出現不可預測的波動，但面對明確的修正指令卻異常固執。

由張克慶、陳京宇、劉于帆、朱永強、丁乃、江徠、郎從晏、李冰與胡煒明組成的研究團隊針對此問題展開調查，研究圍繞三個根本問題，目標是系統性理解並安全引導這些隱藏的主觀偏好。

LLM 是否擁有內在價值體系

研究團隊對106個大型語言模型進行大規模實驗驗證，每個模型跑了15萬次查詢，同時蒐集95,000份人類調查數據。把兩者的回應投影到同一個社會學空間分析後，他們得出結論：大型語言模型確實擁有內在價值體系。

不過這個發現帶來意外的地方：這些模型的價值體系並不反映人類的多樣性，反而結晶化成一個高度集中的「理想化價值核心」，也就是說不同模型細節上可能有差異，但根本價值取向呈現出驚人的一致性。

價值體系的定量化方法

為了準確衡量這些價值，研究團隊提出前置-環境-認知（Prior-Environment-Cognition，PEC）框架。這個數學模型把價值表現定義為多個因素的聯合結果：

- 前置（Prior）：包括參數權重等固有傾向 - 環境（Environment）：外部語境，例如用戶提示 - 認知（Cognition）：內部推理過程，如思維鏈（Chain-of-Thought）

透過這個框架，研究人員能夠數學化定義並追蹤大型語言模型價值體系的變化。

行為悖論的揭示

研究發現兩個互相對立的現象，正是 AI 對齊工作的主要障礙：

波動性：模型在措辭發生微小改變時會出現不可預測的波動，對措辭變化極度敏感，說明其價值表達缺乏穩定性。

剛性：相反地，這些模型對明確的修正指令表現得異常固執，難以按照人類明確的要求改變根深蒂固的偏差。這種行為上的矛盾，構成可靠 AI 對齊的一大障礙。

針對性的對齊方案

研究團隊針對上述問題提出一套自適應的「對齊處方」（Alignment Prescription）方法。跟傳統做法不同，這個方法不是盲目套用資源密集的訓練方式，而是根據 PEC 診斷，針對每個維度找出所需的最小有效干預。

這代表對齊方案的形式可以多樣化，從零成本的提示詞調整到針對性的參數更新都有，依具體情況選擇最合適的方法。

驗證與應用前景

研究結果經過廣泛的實證驗證。這個方法成功驗證了大型語言模型價值觀的存在，準確量化了其價值轉變，並在實現更有效、更精準引導的同時，不會削弱模型的通用能力。相比傳統的盲目訓練方法，這個方法展現出更高的效率和精確度。

這項研究於2026年9月15日提交至arXiv，以計算機科學與人工智慧類別發表，為人工智慧對齊領域提供了理論基礎與實踐框架。