Launch HN: Respan (YC W24) – 基於插件架構的開源 Rust AI 閘道器

YC W24 團隊 Respan 推出開源 Rust AI 閘道器，核心設計理念為「一切皆為插件」。該閘道器採用解耦架構，將供應商（OpenAI、Anthropic、Gemini）、協議（MCP、語音）、多模態（圖像、影片）及功能（後備、PII 遮罩、智慧路由）模組化為插件，提供小型核心與公開介面，讓團隊自行組裝 AI 基礎設施，避免傳統閘道器因預設功能過多而臃腫。

開發動機源於團隊自 2024 年起基於 LiteLLM 建構閘道器，服務數千個組織。因各組織需求差異，團隊在 LiteLLM 上疊加功能，導致包裝程式碼超過 10 萬行。今年一月的一次常規升級引發間歇性連線錯誤，迫使團隊回滾且原因未明，後續改為手動後端移植修復。這些經驗使團隊意識到持續修補 LiteLLM 並非可持續方案，遂決定重新設計。受 Nginx 啟發，新閘道器核心僅負責事件分派，確保新增功能不會破壞現有系統。

技術實現上，插件為原生編譯的 Rust crates，而非解釋型或動態載入。團隊曾考慮 WASM 或 libloading，但因插件常需資料庫連線等權限，最終選擇將模組 crates 編譯入應用程式。這種靜態編譯方式雖需 CI 流程，但能確保熱路徑效能與權限控制。