ContinuityBench：多提供者 LLM 路由的有狀態故障轉移基準測試

在大型語言模型（LLM）的生產環境部署中，高 API 可用性保證並不等同於對話連續性。當主要提供者發生停機或遭遇嚴格限流時，簡單的無狀態故障轉移機制雖然能維持服務運行，卻會靜默地丟失對話歷史，嚴重破壞用戶體驗。

為嚴謹地量化並解決此故障模式，研究團隊提出了兩個新指標：連續性保留率（CPR）與連續性延遲開銷（CLO）。團隊設計了一種基於歷史轉發策略的有狀態多提供者代理架構，該架構能在故障轉移期間跨異質 LLM 端點無縫重建對話狀態。

研究團隊發布了開源評估工具 continuity-bench，用於在高併發提供者故障條件下測試上下文保護能力。實證評估涵蓋了 750 次故障轉移事件（N=750），結果顯示該有狀態代理達到了 99.20% 的連續性保留率（95% CI: 98.27%, 99.63%），能將深度對話上下文乾淨地轉移到備用提供者，而標準無狀態架構的保留率接近 0%。

研究同時分析了故障轉移延遲分佈，確認了必須採用帶有抖動的異步指數退避策略，以防止對嚴格限流的備用 API 引發級聯重試風暴。這些結果為構建魯棒且保留狀態的多模型推理系統提供了原則性基礎。