低延遲系統中的工具製造與自進化 LLM 代理

研究人員提出一種方法，將大型語言模型代理在部署前重複的工作流程步驟編譯成經過驗證的工具，以此取代每次請求時重新生成程式碼的推論時間編碼迴圈。這套系統包含一個代理工具製造管道，在部署前將標準作業程序步驟編譯為版本化的工具。該管道在即時環境中建立綜合基礎，透過收集執行痕跡、觀察後端架構與數值、生成候選工具，並針對標記案例進行修復。

在實際生產環境的倉庫警報分類系統測試中，該代理針對包含 44 個節點的標準作業程序，對異質後端指標進行警報診斷。系統在運行時直接呼叫這些工具，僅在必要時才回退至程式碼生成。在生產環境中，工具呼叫將 p50 延遲降低了 42%。在 1,500 個歷史警報的測試中，透過抑制重複步驟的運行間變異，端到端錯誤率降低了高達 53%。

由於工具返回緊湊的結構化裁決，系統得以採用更簡單的直接呼叫架構。在受控的消融實驗中，這種架構進一步將 p50 延遲降低了 62%。版本化工具不僅提升了審計能力，還暴露了規格缺口與上游數據漂移。研究結果顯示，自進化代理能使工業級大型語言模型系統更快、更可靠且更易於操作。