BRAID：統一多模態推理的強化學習框架

研究團隊提出 BRAID 框架，旨在解決統一多模態模型（Unified Multi-Modal Models, UMMs）在透過強化學習（RL）優化多輪生成時面臨的挑戰。現有方法僅將 RL 應用於文本步驟，而將圖像生成 relegated 至監督代理，導致策略梯度無法在異質模態的完整交錯軌跡中傳播，使得 RL 在 UMMs 中的潛力未被充分開發。

BRAID（Bridging interleaved multi-modal reasoning as a unified Decision process）將多輪文本 - 圖像 - 文本推理重新定義為統一的馬可夫決策過程（MDP）。該框架透過單一原則性的 RL 目標，實現文本與視覺生成的聯合優化。它計算共享的軌道級優勢（trajectory-level advantage），並將其一致地傳播至文本 token 與圖像去噪路徑，使兩者各自透過其模態原生的策略梯度機制進行優化。

為解決長視窗的信用分配問題，BRAID 採用視覺語言模型（VLM）評估器，對每個中間圖像的推理效用進行評分，提供密集的回合級反饋，以在關鍵視覺分支上 sharpen 學習。在空間推理與視覺感知基準上的實驗顯示，BRAID 持續優於各種基線，證實了結合視覺思考指導的統一 MDP formulations 對於有效的多模態推理至關重要。