PolyKV：多智能體 LLM 推理的共享非對稱壓縮 KV 快取池

研究團隊提出 PolyKV 系統，讓多個並行推理智能體共享單一的非對稱壓縮 KV 快取池，改變傳統為每個智能體分配獨立 KV 快取的標準範式。PolyKV 將壓縮後的快取寫入一次，並透過 HuggingFace DynamicCache 物件注入至 N 個獨立的智能體情境中。該系統在壓縮策略上採用非對稱方式：Keys 量化為 int8 (q8_0) 以維持 softmax 穩定性，Values 則使用 TurboQuant MSE 壓縮至 3 位元，此方法包含 Fast Walsh-Hadamard Transform (FWHT) 旋轉以及經過針對 N(0,1) 調整的 3 位元 Lloyd-Max 量化。

研究在 SmolLM2-1.7B-Instruct 與 Llama-3-8B-Instruct 兩種模型規模上進行評估，涵蓋 600 至 7,194 tokens 的三種情境長度，並支援最多 15 個並行智能體。PolyKV 在所有配置下達成穩定的 2.91 倍壓縮比。以 Llama-3-8B 搭配 15 個智能體共享 4K-token 情境為例，系統將 KV 快取記憶體從 19.8 GB 降至 0.45 GB，實現 97.7% 的記憶體削減。

在效能表現方面，PolyKV 僅造成 +0.57% 的困惑度 (perplexity) 下降，平均 BERTScore F1 維持在 0.928。困惑度差異 (PPL delta) 不會隨智能體數量增加而擴大，且隨著情境長度增加而改善，在 1,851 個相干 tokens 時甚至逆轉為 -0.26%。據研究團隊表示，目前尚無其他工作結合單一共享的有損壓縮 KV 池與多讀取器並行智能體存取。