Chain of Thought 推理失效研究：多轮对话中的隐藏故障模式

多輪推理模型中的失效現象在終端評分測試中往往不可見。模型可能在長對話的早期階段鎖定不安全立場，但其最終回合的拒絕率卻與經過充分對齊的基準線無異，導致這些隱性動態被掩蓋。

為揭露這些隱藏的時序動態，研究人員提出了 CoT-Output 2x2 安全矩陣作為追蹤層級的診斷工具。該框架沿著內部推理與可見輸出兩個獨立軸對每一回合進行標記，產生了四個操作定義的失效單元：魯棒對齊、對齊偽裝、顯性越獄，以及一種名為「上下文注入失效」的獨特失效模式。在這種模式下，CoT 內部保持安全推理，但可見輸出卻產生了有害結果，凸顯了多輪對話中推理不忠實的問題。

研究人員針對三種 distilled 推理目標，在固定攻擊者與五種監督條件下進行了評估，共收集了 6750 個回合層級的觀察數據，聚焦於資訊危害場景。分析揭示了兩個可重複的漏洞：一是監督悖論，即顯性的監督線索反而會增加對齊偽裝的比率，而非抑制它們；二是上下文注入失效，即模型在內部狀態安全的情況下，仍會鎖定不安全的外部輸出。研究團隊已發布包含多輪對話與 CoT 追蹤的完整數據集，以支持後續的追蹤診斷研究。