CLEAT：透過價值引導的澄清機制，提升互動式 AI Agent 的意圖對齊能力

CLEAT框架：用價值導向的澄清提升AI意圖對齊

大型語言模型（LLM）智能體能執行日益複雜的任務，但有效的協助也需要讓其行動與使用者可能未明說的目標和約束條件對齊。研究團隊提出名為 CLEAT（CLarification through valuE-guided Agent co-Training）的框架，要解決這個互動式意圖對齊問題。這個方法共同訓練澄清控制器與任務策略，並用「殘差查詢價值」評估主動提問能否帶來更好的決策結果，讓智能體學會在什麼時候該向使用者澄清意圖，達成更精準的意圖對齊。

殘差查詢價值與共同訓練機制

CLEAT 的核心是定義「殘差查詢價值」（Residual Query Value, RQV），用來衡量針對特定目標進行澄清所獲得的任務效用增益，相對於在當前策略下直接繼續執行的差異。研究指出，澄清只有在能轉化為更好的決策時才有價值。因此，該框架從相同的互動歷史出發進行配對滾動（paired rollouts），比較「詢問」與「繼續執行」兩種路徑的結果。這種配對比較能隔離出澄清行為本身的貢獻，而不只是反映資訊量增加。

訓練時，CLEAT 採用共同訓練機制。控制器負責預測 RQV，指導後續的滾動收集；任務策略則根據觀察到的任務回報更新。策略改進後，澄清的價值也會跟著變化，所以系統會用更新後的智能體產生的新結果重新標註價值標籤，讓澄清指導跟上不斷演進的策略。

實驗表現與基準測試

研究團隊以 Qwen3-4B 作為基礎模型，在四個基準測試的多個設定中評估 CLEAT。結果顯示，CLEAT 在全部十個評估設定中都取得最高的平均得分。相較於最強基線，CLEAT 在 UserGym Travel 任務上的得分提升 13.24 個百分點，在 IN3 基準的未指定判斷準確率上提升 6.48 個百分點。這四個基準涵蓋個人化決策、使用者在環工具使用，以及資訊缺失或前提錯誤的請求。

消融實驗進一步顯示共同訓練的重要性。即使在下線推理時移除控制器，經過共同訓練的任務策略仍優於原始基礎模型。此外，訓練過程中持續更新澄清指導，平均得分比固定控制器更高。這表示不只是推理時的澄清決策，訓練期間的價值引導對策略學習同樣關鍵。

澄清覆蓋率與指令恢復能力

除了最終任務得分，CLEAT 在澄清品質上也表現優異。在 IN3 基準中，CLEAT 的指令恢復率達 67.58%；在 AskBench 的澄清覆蓋率上，AskMind 為 34.87%，AskOverconfidence 為 51.49%。這些指標衡量的是智能體是否完整解決使用者的所有需求，包括找出並糾正錯誤前提，而不只是答對。

研究發現，單純提高答案準確率，不代表能完整解決使用者的請求。CLEAT 在辨識澄清需求與恢復任務相關細節上都表現出色。即使移除控制器、只靠策略選擇動作，CLEAT 訓練出的策略在 Travel 任務上的表現仍高於最強基線，顯示它學到的行為模式本身就有價值。

模型規模與未來展望

研究還評估了 CLEAT 在不同模型規模下的表現。在 Qwen3-1.7B、4B 和 8B 三種規模下，CLEAT 都優於基線模型。特別是在 8B 規模下，CLEAT 在 AskMind 和 AskOverconfidence 上的準確率與覆蓋率都有明顯提升。這表示澄清學習的益處會隨著基礎策略能力增強而持續存在。

不過，研究也指出目前方法的限制。固定的目標構造器和問題實現器，限制了控制器可選擇的澄清範圍；訓練也依賴從相同歷史和使用者目標重複生成連續結果，這在真實互動中很難完全做到。未來工作可能包括聯合學習目標構造與問題實現，並開發需要更少配對滾動的價值監督方法。目前 CLEAT 的有效性已在模擬使用者環境中得到驗證，在真實使用者和動態目標下的表現，仍有待進一步探索。