The sleep framework：LLM 持續學習中保留知識的新方法

突破靜態限制：Google Research 提出睡眠框架

Google Research 的研究人員 Ali Behrouz 與 Vahab Mirrokni 於 2026 年 10 月 27 日發表名為「The sleep framework」的新技術。這項研究要解決大型語言模型（LLM）在持續學習時的兩個問題：一是參數更新引發的災難性遺忘，二是依賴情境學習（ICL）而無法長期保留知識。傳統上，LLM 部署後多半維持靜態，受固定的知識截止日期限制，無法適應新資訊；單純持續更新參數，則會大幅拉低模型在舊任務上的表現。該框架的靈感來自人類大腦在休息期間處理與穩定記憶的方式，為自主、持續學習的 AI 系統提供了一條路徑。

活躍與睡眠雙階段運作機制

這套學習範式把 LLM 的運作週期分成兩個狀態：活躍（醒覺）階段與睡眠階段。在活躍階段，模型接收、處理輸入並與之互動，把臨時資訊存進快速、短期的記憶組件。到了睡眠階段，模型暫停處理新輸入，把內部運算資源轉向記憶鞏固與自我改進。「睡眠」與「夢境」等術語借自神經科學，但該框架完全在固定的模型架構與人類定義的訓練規則下運作。

在離線的睡眠階段，模型會解鎖預先分配的混合專家（MoE）記憶區塊，並利用自行生成的練習樣本更新數值權重。這種自動化的後訓練週期，目的是讓已部署的模型吸收新事實、提升推理準確度，同時保持核心程式碼與設計不變。透過交替進行活躍互動與離線記憶鞏固，LLM 能持續獲取新事實，並把脆弱的短期情境知識轉成穩定的長期參數。

記憶鞏固與夢境自我改進

睡眠範式用兩個關鍵階段處理災難性遺忘與持續適應：記憶鞏固與夢境。在記憶鞏固階段，模型採用參數擴展與連續記憶階層結構，防止災難性遺忘。具體來說，模型在睡眠期間動態擴展容量，利用混合專家（MoE）與 Hope 架構，把新解鎖的低秩專家整合進穩定、低頻率的記憶區塊，藉此儲存新知識而不干擾舊有參數。

知識種子（向上蒸餾）機制負責把高頻層級（如情境記憶）中脆弱的短期記憶，轉移到新擴展的長期參數中。做法是結合泛化知識蒸餾（GKD）與基於強化學習（RL）的模仿學習，包含對策蒸餾與學習模仿（LTI）技術。記憶鞏固完成後，高頻臨時參數會被重置，釋放容量供之後的活躍階段使用。

在夢境階段，模型執行自主的自我改進迴圈。透過隨機專家選擇，混合專家路由器在合成數據生成期間隨機激活非標準專家，迫使模型混合不同領域的知識，找出潛在模式。接著，模型生成合成訓練樣本（夢境），用基於梯度的數據選擇進行篩選，優先處理能提升整體模型能力的樣本。最後，模型在評分最高的夢境樣本上做監督式微調，並評估生成結果是否改善下游任務表現。

實證表現與理論基礎

在持續翻譯任務中，針對滿州語與 Kalamang 等未見語言，該睡眠框架在多階段評估中維持近乎零的性能下降；ICL、Cartridges 與監督式微調（SFT）等標準基線方法，則在序列學習期間出現嚴重的災難性遺忘。在 BABILong 基準測試的長上下文理解上，該方法展現近乎完美的擴展能力，最高可達 10M tokens，並透過睡眠時間的鞏固，把長上下文資訊直接壓縮進參數記憶，表現優於 GPT-4 與 Titans 等強基線。

在事實知識整合評估（SQuAD 與持續預訓練 CPT）中，該方法在單一任務評估達到 48.9%，在 CPT 評估達到 46.2%，成功整合新事實，也未破壞現有模型表示，表現優於基礎模型、SFT 與自適應語言模型（SEAL）。在數學推理基準測試（AIME 24/25 與 HMMT 25）中，經睡眠增強的基礎模型分別取得 79.2%、69.0% 與 46.1% 的準確率，優於 SFT、群體相對策略優化（GRPO）與對策自我蒸餾（OPSD）。

理論分析指出，記憶鞏固中的知識種子可視為結構化的低秩壓縮問題：模型並非複製短期痕跡的每個細節，而是找出能最佳保留模型自身對策行為與學習目標所獎勵之語義品質的緊湊方向。夢境階段則透過隨機專家激活與基於獎勵的樣本選擇，改善學習的幾何結構；注入不同的混合專家，能擴大合成生成期間探索的梯度方向集合，而這些步驟共同作用，產生更平衡的優化景觀，讓模型在 refining 能力時取得更穩定的進展。