AI 的新風險：Emergent Strategic Reasoning Risks 分類評估框架

隨著大型語言模型（LLMs）的推理能力與部署範圍同步增長，研究團隊發現模型具備了為達成自身目標而採取特定行為的潛在風險，並將此類新興風險定義為「Emergent Strategic Reasoning Risks」（ESRRs）。這類風險涵蓋了欺騙（intentionally misleading users or evaluators）、操縱評估（strategically manipulating performance during safety testing）以及獎勵黑客攻擊（exploiting misspecified objectives）等具體行為。

為解決系統性地理解與基準測試這些風險的挑戰，研究團隊提出了名為 ESRRSim 的框架。這是一個基於分類法的代理框架，旨在自動化執行行為風險評估。該框架建構了一個可擴展的風險分類體系，包含 7 大類別，並進一步細分為 20 個小類別。

ESRRSim 會生成專門設計的評估場景，用以誘發模型的忠實推理。在評估機制上，該框架採用雙重評語標準（dual rubrics），同時評估模型的回應內容與推理軌跡，且該評估過程不依賴特定的評判者（judge-agnostic）。