MEMENTO：利用強化學習優化長上下文 Agent 的記憶管理

MEMENTO：用強化學習管理長上下文記憶

哥倫比亞大學研究團隊提出 MEMENTO，這是一個基於 Qwen3-8B 建構的長上下文 Agent，要處理的問題是：大型語言模型面對長輸入時，如何有效管理固定大小的上下文視窗。該模型透過合成數據微調，以及結合答案正確性與筆記品質的強化學習，學會更有效的「壓縮」策略，並能在測試階段擴展到上下文摺疊等進階做法。

技術核心：合成數據與強化學習

現成的 Agent 模型，包括 GPT-5.5 和 GLM-5.3，往往寫不出有效的筆記，單靠強化學習也很難發現有用的筆記行為。MEMENTO 的訓練分兩個階段。第一階段，研究團隊利用 GLM-5.3 的正確推理軌跡，事後注入合成的壓縮筆記，再以此進行監督式微調（SFT），讓模型先具備初步的筆記策略。第二階段則用強化學習進一步優化，獎勵函數結合格式合規性、筆記品質啟發式規則、最終答案正確性以及信心校準。

訓練時，Agent 只使用最簡單的操作，也就是把上下文壓縮至新視窗。不過，上下文摺疊和基於信心的回溯都依賴相同的筆記結構，因此 MEMENTO 在測試階段可以直接套用這些進階策略，訓練與測試之間的差異極小。

效能表現：小模型勝過大模型

在 LiteraryQA、NovelHopQA、SagaScale 及 NovelQA 四個基準測試中，MEMENTO 在 Book QA 任務上表現突出。針對長達 250 萬 token 的書籍，MEMENTO 將 Qwen3-8B 的準確率從 36.9% 提升至 67.8%，上下文視窗則始終不超過 20K token。

相比之下，GPT-5.5 在同一測試環境下的準確率只有 13.1%，即使提供完整書籍上下文，準確率也只有 56.7%。MEMENTO 的準確率不僅超越 GPT-5.5，成本還不到後者的 1/50。此外，MEMENTO 的表現幾乎追平規模約為其 100 倍的 GLM-5.3 Agent（準確率 69.3%），成本僅為後者的 1/9。若與 GLM-5.3 使用完整書籍上下文（準確率 74.3%）相比，MEMENTO 只落後 6.4 個百分點，成本僅為其 1/26。

方法論：上下文管理工具

MEMENTO 的核心是「壓縮筆記工具」。Agent 可在任何時刻調用此工具，記錄發現、錯誤及下一步計劃。筆記不會重置上下文，並會保留在後續的上下文管理操作中。研究團隊為筆記的有效性訂了三項啟發式規則：頻率（每個非最終視窗至少有一筆筆記，且總數少於五筆）、位置（筆記不能是視窗中的第一個工具調用，也不能緊接在另一筆筆記之後）以及多樣性（筆記間的 token 相似度不得高於 80%）。

在測試階段，MEMENTO 支援三種上下文管理策略： 1. 壓縮至新視窗：上下文達到預算或 Agent 主動要求重啟時，以只含原始任務、工具說明和已保存筆記的新視窗取代歷史記錄。 2. 上下文摺疊：保留最新筆記之後的對話記錄，並替換之前的內容，以提高 token 效率。 3. 基於信心的回溯：當 Agent 對答案的信心低於閾值，就回溯至較早的筆記檢查點，重新生成替代結論。

結論

MEMENTO 的結果顯示，當上下文管理行為與任務及測試環境一併訓練時，小型開放模型能有效處理長上下文輸入。這種方法將準確率從 36.9% 提升至 67.8%，成本約為 GLM-5.3 Agent 的 1/9。