人們對 AI 的真實需求是什麼？多元偏好對標研究

大型語言模型（LLMs）通常透過人類反饋強化學習（RLHF）進行微調，以與人們的偏好和價值觀對齊，但這種方法存在已知限制：它聚合了衝突的偏好，往往依賴非代表性樣本，且僅使用二元比較。研究人員分析來自 75 個國家的 PRISM 數據集中的 1,500 份開放式回覆，揭示了當前方法存在具體失敗。

研究發現，不同人群對 AI 系統的需求截然不同。大多數價值觀僅被少於四分之一的受訪者要求，唯有「真實性」（truthfulness）是例外，佔比 49%。更關鍵的是，相同的詞彙隱藏著截然不同的含義：當人們描述「真實性」時，揭示了潛在不相容的認識論基礎——有人要求有來源支持的說法，有人信任專家意見，甚至有人要求非主流觀點。

在能力與功能方面，模型的人類化程度（human-like behavior）以及 AI 護欄（AI guardrails）等特徵引發了爭議，部分人渴望這些功能，而另一部分人則拒絕它們。此外，人們經常使用情境區分（即 AI 在「預設」情況下應做什麼， versus「被請求」時應做什麼），這是二元比較無法捕捉的。

這些發現暴露了當前對齊實踐的根本問題。當 49% 的人要求真實性卻定義不同時，單一獎勵模型（single reward model）不太可能捕捉到這種差異。儘管用戶對準確性有明確需求，但資金充足模型的幻覺率（hallucination rates）依然居高不下，這表明當前方法未能識別實際偏好。研究指出，目前被扁平化為通用偏好模型的，是那些情境化、有爭議且不完美的信號，這種做法被其他研究形容為認識論暴力（epistemic violence）。