自固鞏語言模型：持續將上下文知識整合入模型權重

大型語言模型（LLMs）正日益接收來自段落、對話及長上下文工作流的資訊流，但較大的上下文視窗並不保證有用資訊能被保留與複用。研究團隊針對此問題提出持續上下文整合（continual context consolidation）概念，旨在將當前上下文寫入模型權重，同時限制對先前已整合資訊的干擾。為此，研究團隊提出了自固鞏語言模型（Self-Consolidating Language Models, SCoL）框架。

SCoL 是一個後訓練框架，讓大型語言模型在面對當前上下文時，學習生成文本更新指令，以指定其自身的 Transformer 層中哪些需要更新。由於已承諾的更新會改變後續生成未來選擇的模型，研究團隊使用元強化學習（meta-reinforcement learning）在不斷變化的模型狀態上對 SCoL 進行訓練。該框架在 SQuAD 知識整合上採用監督式問答獎勵，並在 LongBench v2 長上下文整合上採用基於內在似然度的獎勵。

在兩種設定下，SCoL 在獲取與保留方面均優於提示（prompting）、摘要（summarization）、批量測試時訓練（batch test-time training）及序列微調（sequential finetuning）等基線方法。對所學選擇模式的分析顯示，SCoL 鼓勵大型語言模型生成稀疏的更新位置，這些位置與高費雪資訊（Fisher information）的層級對齊，表明模型學會將可塑性路由至對損失敏感的區域，同時限制干擾。此外，SCoL 能從較短的元訓練流傳輸至較長的 LongBench v2 流進行評估，顯示該框架支援可擴展的串流整合。