Nexus：針對 Agentic LLM 的深度自適應 KV 快取與工具路由優化技術

Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory

arXiv cs.AI · 2026-08-24

摘要

針對在 Model Context Protocol (MCP) 上運作的 Agentic LLM，研究提出 Nexus 架構以解決工具註冊表擴大時，因重複編碼冗長工具 Schema 而導致的首個 Token 延遲（TTFT）問題。該技術透過 INT8 語義旁觀緩衝區（SLB）與壓縮文本簽名進行工具檢索與參數生成，成功將路由準確率維持在 89% 左右，並顯著減少主上下文 Token 用量，為處理大量工具調用的 AI 代理提供了一種高效且深度無關的解決方案。

●開發者：可關注降低 Agentic LLM 工具調用延遲的 KV 快取優化技術

●投資人：AI Agent 基礎設施與效能優化領域值得留意

●一般用戶：未來 AI 助手處理複雜任務的速度將更穩定快速

重要性評分

67/100

🟠 值得關注

Agentic LLMKV CacheModel Context Protocol工具路由效能優化

原文出處

上一則← PrimeAgentOrchestrator：為個人 AI 基礎設施預載記憶的 Agent 啟動系統下一則Beyond Prompt Engineering: 提示詞詞彙敏感度與品質影響之系統性分析 →

喜歡這篇？每天早晨還有更多。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。