開發者推出 Llmtee，這是一個輕量級的 LLM 代理程式...

單一二進位檔的輕量級 LLM 代理程式

開發者推出開源專案 Llmtee，這是一個自託管的代理程式，主要用來監控與記錄大型語言模型（LLM）的呼叫。它支援 OpenAI 與 Anthropic API，也支援 OpenRouter、Ollama、vLLM 和 Groq 等相容 OpenAI 的提供者。使用者只要把客戶端的基礎網址指向 Llmtee，就能記錄每次請求的 Token 使用量、成本、延遲和首字延遲。

運作機制與效能表現

Llmtee 的設計概念類似 Unix 的 `tee` 指令：每個回應原封不動傳給客戶端，同時留一份副本供分析。只要客戶端能設定基礎網址，包括 OpenAI 與 Anthropic SDK、Claude Code、Codex 和自動化工具，都不用改程式碼就能使用。效能方面，在 Apple M4 Pro 處理器上以每秒 200 次請求測試，Llmtee 使 p50 延遲增加 0.14 毫秒、p99 延遲增加 0.02 毫秒，記憶體用量約 33 MB。在架構上，只有路由、記憶體中的金鑰與預算檢查，以及轉發這幾個步驟會在客戶端等待時進行；價格計算、預算更新、指標和資料庫寫入則在背景執行，每 500 毫秒或每 100 個事件為一批。如果資料庫變慢或無法使用，代理程式仍會轉發請求，但會丟棄日誌事件，並計入 `llmtee_events_dropped_total`。

金鑰管理與預算控制

Llmtee 支援兩種金鑰：提供者金鑰與 Llmtee 金鑰。提供者金鑰（例如 OpenAI 或 Anthropic API Key）預設由客戶端直接送出，Llmtee 只儲存其 SHA-256 雜湊值作為金鑰 ID，不會把明文金鑰寫進資料庫。Llmtee 金鑰則是在客戶端取代提供者金鑰，代理程式會從環境變數中換上真正的提供者金鑰，團隊成員與代理程式因此看不到敏感資訊。每把金鑰都能設定每日與每月預算，一旦達到上限，Llmtee 會回應 HTTP 429 狀態碼並拒絕轉發請求。預算上限在 UTC 的每日或每月開始時重置。由於 Llmtee 要等請求完成後才知道成本，最後一個請求可能讓支出略微超出預算。

資料匯出與隱私設定

使用者可以透過 Web UI、CSV 匯出、Prometheus 指標或 MCP 伺服器讀取資料。Web UI 提供支出比較、成本圖表、預算計量器和可過濾的請求列表。MCP 伺服器提供 `get_spend`、`list_requests` 和 `get_request` 等工具，可整合到 Claude Code 等環境。隱私方面，內容記錄預設開啟並保留 30 天，但可以透過環境變數或標頭關閉記錄，或做遮蔽處理。Llmtee 不發送任何遙測數據。價格數據來自 LiteLLM 的價格表，在建置時嵌入並每週更新。Llmtee 會隨每筆請求儲存成本，因此後續價格變動不會改變過去請求的成本。

功能限制與適用範圍

Llmtee 明確定位為個人與小團隊使用，用途是檢視並控制 LLM 支出，不是具備路由、備援或多租戶功能的閘道。它不支援評估、提示管理、遊樂場、回應快取、負載平衡、SSO 或多租戶等功能。原生 Gemini、Azure OpenAI 和 AWS Bedrock API 目前不支援，但可使用它們的 OpenAI 相容端點。Token 計數取自提供者的回應，若回應沒有使用量資訊就標記為未知，不做估算。成本準確度取決於價格表，不模擬批次、彈性或優先定價。目前版本為 0.x，設定可能在次要版本之間變更。