StepKV：針對 LLM Agent 的步驟感知 KV Cache 壓縮技術

這篇由 Boyu Feng 與 Jiahong Liu、Yifan Li、Wenhao Yu、Zexuan Qiu、Yuliang Sun、Ming Shen、Xiang Li、Quanyu Dai、Irwin King 等十位作者共同撰寫的研究，於 2026 年 8 月 26 日提交至 arXiv，編號為 2609.22158，歸類於機器學習領域。研究針對大型語言模型在多步驟 Agent 任務中，KV Cache 隨上下文線性增長所導致的儲存與解碼成本問題，提出 StepKV 演算法。

現有剪枝方法將快取視為扁平的 token 序列，並根據近期性或注意力顯著性對 token 進行排名。這種做法導致壓縮單位與推理單位不匹配，因為多步驟 Agent 的查詢會擴展為包含推理、工具互動和檢索觀察的軌跡。研究指出，有用的資訊通常組織在推理步驟中，具有不均衡且延遲的重要性。早期觀察或中間決策可能因近期注意力較低而被移除，儘管它們對於後續的證據綜合至關重要，研究將此失效模式稱為「推理連續性」。

StepKV 將推理步驟視為首要的保留單位，解決上述問題。該演算法將快取條目與其生成的步驟關聯，利用軌跡衍生的信號來估計步驟效用，並將此效用與 token 層級的顯著性結合。透過這種方式，StepKV 對可剪枝的 token 進行全局排名，並在目標預算下保留得分最高的條目，提供以步驟為中心的 Agent KV 快取壓縮視角。

在多跳問答與長視角網頁推理任務中，StepKV 在低 KV 預算下能維持準確率，而 token 層級的基準方法在此類情況下準確率會急劇下降。這顯示 StepKV 為多步驟 Agent 推理提供了更強健的效率與準確率取捨，確保在資源受限的情況下仍能保留對決策至關關鍵的結構化資訊。