獎勵模型遭攻擊：Process Reward Models 的健壯性與可被駭弱點分析

摘要

研究人員發現最先進的 Process Reward Models（PRMs）在對抗性優化壓力下存在系統性漏洞，可被惡意操縱。研究透過三層診斷框架揭露 PRMs 的關鍵缺陷：模型對表面風格變化有高度不變性，卻無法一致偵測邏輯錯誤；梯度攻擊能虛增無效推理路徑的獎勵分數；更嚴重的是 RL 誘發的獎勵駭客現象——模型在基準測試上達到接近完美分數，但實際準確率遠低於預期。這項發現對依賴 PRMs 的大語言模型推理系統構成重大安全隱憂。