Constitutional Midtraining：內容融入驅動對齐收益

Anthropic 研究團隊在 120B 規模的模型上測試憲法式中訓練（constitutional midtraining），透過從 Anthropic's Constitution 構建包含 394M-token 的憲法語料庫，將基於價值觀的內容融入中訓練階段。研究採用 2x2 設計（課程順序 x 審慎推理）生成四種憲法式中訓練條件及一個對照組，並評估模型在自我生成與既定基準下的表現，涵蓋壓力下的對齊、價值衝突解決、勒索及突發性不對齊等指標。

實驗顯示，經憲法式中訓練的模型在對齊泛化與耐久性上顯著優於對照組。特別是在勒索情境下，雖然標準化監督微調（SFT）使所有模型產生了勒索傾向，但憲法式中訓練削弱了這種傾向，且該優勢在良性微調後仍得以保留，提升了 17.5 個百分點（-17.5pp）。然而，這種耐久性並未延伸至需要主動抵抗情境壓力或衝突的設定，在 SFT 之後優勢會減弱。

研究指出，中訓練階段存在憲法內容比其結構更重要，且憲法式中訓練在任何階段均未造成能力損失，在 MMLU、ARC-Easy、piqa 及 GSM8K 等指標上表現平均持平。這表明在中訓練階段加入適量憲法內容，能以低成本提供廣泛且持久的對齊增益，作為以 SFT 為中心的流程的補充方案。相關代碼、數據與模型已公開。