因果世界模型何時能幫助模組化 LLM Agent

模組化 LLM Agent 的因果世界模型困境

大型語言模型（LLM）代理系統愈來愈依賴模組化架構。以零售場景為例，代理要依序執行使用者驗證、訂單查詢、支付處理、庫存調整和物流發送。這些模組不是各自獨立，而是同一個耦合系統裡的功能單元。然而，現有的基於模型強化學習或 LLM 世界模型，通常把動態過程當成集中式的序列模型，或是假設各環境是獨立副本。

標準的世界模型主要擬合觀察到的資料軌跡，但用在干預時的規劃，光靠擬合並不夠。例如，觀察資料可能顯示「支付」發生在「發貨」之前，卻無法確定是支付授權了發貨，還是庫存狀態介入了兩者之間，或者有隱藏的觸發因素同時解釋了這兩件事。在因果非識別性的限制下，全局序列模型很難區分相關性與因果性，尤其在存在未觀察到的混淆變數時，觀察性預測在干預情境下會產生無法消除的誤差。

FedCausalCompose 框架與理論基礎

針對這個問題，研究團隊提出 FedCausalCompose 框架，為模組化 LLM 代理建立聯邦式因果世界模型。框架包含六個步驟：識別局部變數、動作與介面；找出候選的 outgoing-incoming 事件匹配；把局部干預與下游回應配對；驗證跨模組邊界；組合局部機制；以及可選擇地派送局部因果控制約束。在這個設定中，每個客戶端（模組）只提供介面層級的干預摘要，而不是原始軌跡或參數；各模組的狀態空間彼此不相交。

理論分析顯示，只要存在未阻斷的後門路徑，觀察性世界模型在干預下就會產生無法消除的誤差。具體來說，觀察性預測器會收斂到錯誤的條件均值，使干預風險出現一個由混淆強度決定的下界。此外，錯誤的介面預測會沿著模組路徑累積，rollout 越深，錯誤率越高。FedCausalCompose 讓局部動作為跨模組介面提供干預回應證據；當覆蓋率足夠、局部機制誤差受到控制時，因果組合的誤差可以嚴格低於非因果模型的下界。

實驗結果：結構化工具與敘事環境的差異

研究在多個基準測試中做了診斷性實驗，包括 τ-bench 零售、ALFWorld、ScienceWorld、APIBank Stateful 及狀態化工具使用設定。結果顯示，因果介面資訊有沒有用，高度取決於環境類型。

在結構化工具環境中，例如 APIBank Stateful，API 呼叫有明確的型別參數、看得到的前置條件，也有驗證步驟。實驗數據顯示，從非因果序列基線，到發現邊界提示，再到 oracle 邊界條件，任務成功率逐步上升（從 3.61 升到 5.67）。這說明當環境以明確的工具依賴形式呈現狀態轉換時，代理可以直接使用因果世界模型資訊，並獲得正確的歸納偏置。

然而，在對話與敘事環境中，情況完全不同。在 τ-bench 零售測試中，如果沒有注意力錨點，因果邊界提示的效果甚至比簡單的序列基線還差（成功率分別為 45 和 70）。只有在提示中加入簡短指令、讓代理聚焦於用戶的主要目標，使因果資訊在決策時具有操作上的顯著性，因果提示才會發揮作用。這反映出長上下文模型常見的注意力瓶頸：就算因果邊界是正確的，只要提示沒有讓它成為與決策相關的資訊，代理還是會忽略。

在 ALFWorld 等敘事環境中，因果結構是以自然語言編碼的。實驗發現，即使提高正確邊界的比例，任務成功率也沒有穩定上升，顯示原始邊界列表在敘事任務中不是可靠的控制訊號。效率指標也顯示，因果提示不會自動降低每場勝利的成本，除非代理真的用邊界資訊來改善決策。

結論與限制

研究結論指出，因果世界模型要幫上 LLM 代理，必須同時滿足兩個條件：跨模組介面在統計上可識別，而且要以代理在行動時能使用的形式呈現。結構化工具環境的 API 簽名會暴露前置條件與下游效應，因此最能從中受益；敘事環境則需要靠注意力錨點，才能讓因果資訊與決策相關。

此外，研究還發現一個邊界案例：如果觀察到的動作特徵已經是混淆變數的代理，因果優勢可能縮小，因為觀察性預測器可以透過該代理做部分調整。目前的實驗範圍有限，多為單一種子的點估計，系統也尚未實現完整的隱私保護聯邦部署。未來需要進一步學習模組邊界與邊界延遲，以減少對監督的依賴。