RBS-Attention：半徑限制稀疏預填充技術加速長上下文大語言模型推理

針對長上下文大語言模型推理中預填充階段因密集自注意力機制處理完整提示而導致的計算瓶頸，研究提出 RBS-Attention 方法。該技術旨在解決傳統稀疏區塊選擇中可能出現的「平均稀釋」（mean dilution）問題，即區塊質心可能掩蓋了與高度相關但數量較少的 token。

RBS-Attention 是一種無需訓練的稀疏預填充方法，採用兩個互補的選擇分支：一個基於質心的分支用於捕捉平均相關性，另一個救援分支則利用最大鍵塊半徑及其依賴於提示、層和頭部的分佈，來識別可能被低估的區塊。透過獨立閾值處理這兩個分支並結合其遮罩，該方法在控制救援區塊貢獻的同時，保留了常規區塊稀疏 FlashAttention 的執行效率。

在 H100 GPU 上的實驗顯示，在 Qwen3-30B-A3B-Instruct-2507-FP8 模型於 128K 上下文長度下，RBS-Attention 實現了 20.65 倍的獨立預填充注意力加速、11.92 倍的 vLLM 預填充注意力加速，以及 5.97 倍的端到端首 token 時間加速。在密集 Qwen3-32B 模型上，其整體 RULER 準確率為 88.65，與密集注意力的 89.52 相比僅有微小差距，並透過 LongBench-v2、InfiniteBench 和 Video-MME 進行了額外品質評估。