Memorilla：為 LLM 提供潛在語義記憶的技術

突破記憶瓶頸：Memorilla 技術解析

斯坦福大學、多倫多大學與麻省理工學院等機構的研究人員共同提出一項名為 Memorilla 的技術，目標是解決大型語言模型在處理長期或複雜語境時遇到的記憶瓶頸。這項技術在潛空間中儲存與檢索語義資訊，讓凍結狀態的大型語言模型能有效利用參數之外的累積知識，例如過往使用者對話、長篇文件或代理程式的歷史行動。

核心架構與運作機制

Memorilla 系統的核心，是把文件集合中的資訊彙整成固定數量、依查詢而定的「記憶權杖」。系統先用凍結的嵌入模型，把使用者對話或書籍章節等文件編碼成可重複使用的嵌入向量，存進持久性記憶體儲存區。每次收到查詢，一個可訓練的記憶模組就會從儲存區檢索資訊，並放進大型語言模型的輸入嵌入空間。

整個架構有三個主要操作：編碼、儲存與檢索。凍結的文件編碼器把每個文件區塊映射成與查詢無關的表示，再堆疊成與查詢無關的文件儲存區。接著，凍結的查詢編碼器把查詢映射成嵌入向量。到了檢索階段，可訓練的記憶模組用查詢嵌入從文件儲存區選取資訊，回傳 K 個以查詢為條件的軟記憶權杖。這些權杖會和查詢文字一起交給凍結的大型語言模型處理。

具體來說，記憶模組先初始化 K 個記憶槽，再透過交叉注意力機制，把查詢嵌入套用到這些槽上，讓它們帶有查詢條件化的特徵。接著，這些條件化的槽經過多層交叉注意力區塊，對所有文件嵌入進行檢索。最後，細化後的槽會被投影到大型語言模型的輸入嵌入維度，形成軟記憶權杖。這些權杖與查詢文字嵌入的維度相同，因此大型語言模型能透過現有的自注意力層，處理這組由記憶與文字組成的序列，不必修改任何大型語言模型層或注意力機制。

訓練策略與參數設定

Memorilla 的訓練分成三個階段。第一階段使用 198 萬個英文維基百科語義重構範例，訓練記憶模組在固定的記憶預算內保留足夠資訊，讓凍結的大型語言模型能生成語義重構內容。第二階段接著在 134 萬個範例上訓練，這些範例來自涵蓋閱讀理解、開放域問答和摘要的十個資料集，用來教模組從相同類型的儲存表示中回憶不同資訊。第三階段則在八個評估基準訓練分割的統一混合資料上進行微調。

實作上，Memorilla 以凍結的 Qwen3-Embedding-4B 模型作為文件與查詢編碼器，並以 Qwen3-8B 模型作為凍結的大型語言模型。除非另有說明，全文固定使用 16 個記憶權杖。在這種配置下，系統有 194,123,776 個可訓練參數。訓練目標是最小化目標答案權杖的負對數似然，損失只套用在答案位置，不套用在提示或記憶位置。

效能表現與基準測試

在涵蓋個人化、長文件問答和知識密集型問答的八個基準測試中，Memorilla 表現優異。和全上下文推論相比，Memorilla 只用 16 個記憶權杖，平均表現卻是最佳。在 FactKG 基準上，Memorilla 的準確率達到 84.33%，高於全上下文推論的 80.43%，使用的文件權杖數量僅為全上下文的 1/108。

在個人化任務 LaMP-4 上，Memorilla 的 ROUGE-L 分數為 18.15，優於全上下文推論的 14.21，使用的文件權杖數量僅為全上下文的 1/474。在 TriviaQA 基準上，Memorilla 的精確匹配分數為 57.00，高於全上下文推論的 52.60，使用的文件權杖數量僅為全上下文的 1/743。整體而言，以幾何平均計算，Memorilla 使用的文件權杖數量比全上下文少 394 倍，比 RAG-50 少 113 倍，比 MemoRAG 少 49 倍。

持續學習與代理程式應用

Memorilla 不只適用於問答任務，也能促進代理程式系統中的持續學習。在 TextWorld 環境中，代理程式要在 50 步內探索房間、尋找並使用物件，完成多步驟目標。Memorilla 在每一步結束後，把該步驟加入文件儲存區，下一步就利用這些經驗。

實驗顯示，在 TextWorld 環境中，Memorilla 把代理程式的平均成功率從全歷史在上下文學習的 18.6% 提升到 24.2%。此外，Memorilla 也減少了代理程式在已探索房間之間來回徘徊的傾向。在保留的遊戲中，使用 Memorilla 的代理程式三次嘗試內完成了 37.5% 的遊戲，全歷史在上下文學習的代理程式則只完成 25.0%。這表示 Memorilla 能幫助代理程式脫離導航迴圈，並執行關鍵動作序列。

效率與延遲優勢

Memorilla 在效率方面同樣表現出色。由於儲存區使用與密集檢索索引相同的嵌入，編碼不會增加額外成本。在包含 512 個文件的集合上，Memorilla 的端到端延遲比全上下文答案生成低 27 倍，具體數值是 0.74 秒對 19.9 秒。這讓 Memorilla 在保有模型所有能力的同時，只靠少量與查詢相關的潛在嵌入，就能回答問題或解決任務，進而提升大型語言模型回應的速度與品質，以及代理程式依過去經驗做決策的能力。