推理時間上下文稀疏性：幻想還是機遇？

研究人員針對大型語言模型（LLM）的推理效率提出新觀點，認為當前對密集注意力機制（dense attention）的堅持是不合理的。隨著工作負載轉向更長的上下文與代理互動，注意力帶來的計算與記憶體瓶頸被視為關鍵問題，但研究主張這些限制並非基本約束，而是人為且不必要的。研究指出，在長上下文情境下，查詢實際上將 O(N) 的注意力資訊投影到維度 d << N 的隱藏空間，這個過程本質上必然造成資訊損失，因此未來應朝向極度但有原則的上下文維度稀疏性發展。

為驗證此立場，研究團隊進行了涵蓋 20 個模型與 5 個模型家族的廣泛研究，變數包含上下文長度與不同的稀疏程度。實證結果顯示，儘管目前的 LLM 並未針對上下文稀疏性進行訓練，它們在各種複雜任務中對推理時的解碼稀疏性（inference-time decode sparsity）表現出驚人的魯棒性。這些任務涵蓋檢索、多跳問答、數學推理以及代理編碼，證明當前模型在稀疏化處理下仍能維持效能。

在硬體實現方面，研究指出現有硬體已足以實現顯著增益。透過稀疏解碼核心（sparse decode kernels），在 H100 等硬體上，當稀疏程度達到 50 倍時，大上下文處理的加速效果可達 FlashInfer 的 10 倍。這些結果將極端上下文稀疏性定位為 LLM 推理、訓練與架構設計的原則性基礎，而非僅是啟發式方法，證實其既可行又有益，是未來系統發展的強勁方向。