ContinuityBench：多提供者 LLM 路由的有狀態故障轉移基準測試

ContinuityBench: A Benchmark and Systems Study of Stateful Failover in Multi-Provider LLM Routing

arXiv cs.LG · 2026-07-20

摘要

研究團隊提出了解決 LLM 服務故障轉移時對話歷史丟失問題的方案。通過引入連續性保留率（CPR）和連續性延遲開銷（CLO）兩個新指標，以及基於歷史轉發策略的有狀態多提供者代理架構，確保在提供者故障時能無縫保持對話上下文。同時發布了 continuity-bench 開源評估工具，用於在高併發故障情境下測試上下文保護能力。

●開發者：可利用新的評估框架和有狀態故障轉移架構優化 LLM 路由系統

●投資人：多提供者 LLM 服務可靠性提升將推動企業級 LLM 應用商業化

重要性評分

64/100

🟠 值得關注

故障轉移對話連續性LLM 路由基準測試

原文出處

上一則← 非營利組織 Current AI 致力打造全球開放 AI 網路，造福全球下一則我討厭我不討厭這首用 Suno 製作的歌曲 →

喜歡這篇？每天早晨還有更多。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。