Salesforce 發布 R&D Agents 自動優化 AI 模型

Salesforce AI Research 近日公布 SFR-AutoR&D，這是一組能端到端執行研究流程的 Agent，目標是自動改進程式碼庫與訓練 AI 模型。

從目標到實驗的自動循環

依據來源，使用者只需提供一個目標、一個要處理的系統，以及一筆運算預算，SFR-AutoR&D 的 Agent 就會自己提出假說、實作方法，並與基準線做受控實驗。只有在證據支持，且經證實準確、安全時，系統才會把改動留在程式碼庫裡。

已用於正式模型

來源指出，SFR-AutoR&D 目前用於訓練與改進已正式上線的 AI 模型。系統先自動改進了 SFR-Embedding V3，這是 Salesforce 在 Data Cloud 中負責檢索的模型。接著，研究團隊把系統用在開源模型 EmbeddingGemma 2 上，產出 SFR-Embedding v4，來源表示它在品質與延遲上都有可量測的改善。

在此之前，系統也改進過公開程式碼。來源提到的對象包括 pandas（資料科學家常用的 Python 資料處理函式庫），以及支撐相似度搜尋的 hnswlib 與 USearch。來源強調，這三個專案都經過多年專家調校，Agent 仍找到進一步的提升，並各自附上基準測試證據。

嵌入模型為何重要

嵌入模型會把文字轉成數值表示，讓系統能從數百萬筆資料中找出正確的紀錄、文件或案例歷史。來源指出，Agentforce 代理根據客戶自身資料回答問題時，會透過 Data Cloud 做檢索，由嵌入模型決定要回傳哪些內容。因此，檢索品質會直接影響代理後續的回答。

從數週縮短到數小時

過去改進嵌入模型主要靠人工。研究科學家要提出做法、建立實驗、執行、解讀結果，再決定下一步，整個過程常常要花數週。使用 SFR-AutoR&D 時，系統自己跑完整個循環，週期約 80 小時，略超過三天。

Salesforce 首席科學家 Silvio Savarese 表示：「在機器學習的大部分歷史中，進展速度受限於人類實驗的速度。我們現在看到的，是一個能提出假說、加以測試，並以證據約束自身的研究系統，而且應用在客戶仰賴的模型上。科學方法依然主導一切，只是循環跑得更快了。」

兩個 Agent 與底層架構

團隊為此打造了兩個 Agent。AutoR&D-Engineer 負責在既有程式碼中找出演算法與系統層面的改進；TrainForge 則探索新的訓練方法，執行後用系統從未拿來訓練的保留基準做評估。兩者都跑在 AutoInfra 上，這是負責在共享 GPU 運算資源中承載實驗的訓練底層架構。

Salesforce AI Research 資深研究總監 Shafiq Joty 說明：「我們的目標，是打造能發掘我們原本不會想到要探索之方法改進的 AI Agent，並以嚴謹的實驗證據支撐這些發現。」他也表示，系統不是從預先定義好的訓練配方中挑選，而是自行形成假說、開發新方法，並透過受控實驗在保留的評估上驗證，且只保留相較既有基準線有可量測進步的改動。

檢索與執行效率的數據

在 MTEB 的 10 項公開檢索任務上，SFR-AutoR&D 提升了模型把相關結果排在前段的能力，nDCG@10 分數提高 6.13 分。這項指標衡量前 10 筆結果的相關性，排名越前面，權重越高。

接著，系統自行進行了第二輪約九小時的運行，這次的目標是模型的執行速度與成本。結果顯示，模型吞吐量提高 36%，延遲降低 17%，品質幾乎沒有損失。來源認為，這正是「在基準測試中表現良好」與「負擔得起數百萬筆客戶資料運算成本」之間的差別。

信任與人為界線

來源強調，Salesforce 用於產品的模型只使用通過倫理與法律審查的資料集，研究團隊把這項限制視為問題定義的一部分，而不是事後才補的步驟。來源也指出，模型即使在評估中表現良好，仍須符合正式上線的要求才會提供給客戶使用，相關工作目前仍在進行。

研究人員設定目標、預算、評估方式與資料限制，系統只在這些範圍內探索。若沒有經過驗證、優於基準線的改進，模型就維持原狀。

後續發展

來源提到，Salesforce AI Research 另有一項相關研究 CodeEvolve，結合大型語言模型與演化式搜尋，用來改進 Java 與 Salesforce Apex 的效能與程式碼品質。來源表示，之後會有部落格文章深入介紹這項研究。

Joty 最後說：「改進正在發生。我們過去以人工工作的週數來計算進展，現在則以運算的小時數來計算。」他並表示，企業 AI 研究目前是一段非常令人興奮的時期。