Meta Andromeda：透過模型與系統協同設計，推動廣告檢索新世代

協同設計突破檢索極限

Meta 發表新一代廣告檢索引擎 Andromeda。團隊把模型、系統和 GPU 硬體放在一起協同設計，讓檢索吞吐量達到每秒超過十億則廣告。這個效能比 2024 年的系統高出 100 倍，也為廣告檢索階段的模型立下新的吞吐量基準。在生產環境中，該系統用接近排序階段的模型精度做檢索，自 2025 年起已替 Facebook 帶來 2.4% 的轉換次數增長。在相同的延遲預算下，廣告主能觸及的候選廣告池也更大。

架構演進與 MoE 創新

Andromeda 是 Meta 的機器學習系統，負責廣告推薦管線的第一階段。過去，排序階段的深度模型品質很高，但成本太高，難以用在檢索規模上。2024 年，Andromeda 部署在 NVIDIA GH200 Grace Hopper Superchip 上，將模型容量擴大四個數量級。後來生成式 AI 創意工具讓廣告候選池暴增，系統得評分的廣告規模也跟著變大。

新一代架構採用類似大型語言模型的混合專家（MoE）設計。在用戶建模上，系統從單一用戶塔改為專家集合，整合序列廣告互動事件、用戶群體表示、LLM 衍生的語義特徵，以及跨平台的共同互動信號。候選廣告塔採用聯合編碼策略，並加入即時服務上下文。互動層則從密集神經網路，改為以 MoE 注意力為基礎的門控網路，動態將候選廣告分派給最相關的用戶專家。

在典型的檢索後排序系統中，這個架構達到接近排序層級的模型效能，推論時間的 FLOPs 卻只有 2024 年 Meta Andromeda 檢索模型的約 300 分之一。單一 GH200 GPU 上的模型推論吞吐量超過每秒 100 億則廣告。模型容量可以靠更豐富的特徵互動和更深的架構成長，不必等比例增加 GPU 成本。

單一 GPU 管線與內核融合

為了解決記憶體頻寬瓶頸，2026 年的 Meta Andromeda 把模型與系統的協同設計再往前推。系統採用單一 GPU 內核融合技術，將模型執行與系統邏輯合併。傳統多內核管線中，中間張量會產生每秒數太字節的高頻寬記憶體（HBM）流量。融合內核把整個每用戶-每廣告的計算放在單一通道中執行，中間結果留在 GPU 暫存器與執行緒區塊共用記憶體裡，不寫入 HBM，記憶體瓶頸因此消除。

此外，系統採用共置策略，將索引匹配、評分與 Top-K 選擇放在同一台 GPU 伺服器上。過去，每用戶請求的操作在本地 CPU 主機上執行，再透過網路與遠端加速器通訊，導致網路頻寬飽和。新架構只把包含用戶特徵與目標查詢的緊湊請求負載送到單一 GPU 伺服器，由它在本地跑完整個檢索管線，再回傳最終結果。網路流量因此減少約 100 倍，系統回到 GPU 計算瓶頸 regime。

與 NVIDIA 合作優化硬體極限

Meta 與 NVIDIA 於 2026 年初展開聯合合作，系統性優化檢索管線的各個組件，逼近硬體極限。互動網路（檢索 MoE 門控網路）的優化門控內核效能提升 5.3 倍，從每秒 24 億則廣告增至超過 100 億則，達到 GPU 峰值 HBM 頻寬的約 85%。INT8 量化再把吞吐量提升最高 2 倍，準確度與 16 位元精度相當。

索引匹配透過目標 GPU 內核優化，吞吐量提升超過 2 倍，達到每秒超過 1000 億則廣告，比評分網路高出一個數量級。端到端 GPU 管線透過共設數據佈局，去掉不必要的間接操作，移除延遲開銷。全管線基準測試顯示，在單一 GPU 伺服器上，其效能是目前生產吞吐量的數倍。

未來展望與平台擴展

在 Hopper 架構的成果之上，團隊正把優化工作擴展到 Grace Blackwell 平台。重點在平台設計優化，以支援不同的 CPU 與 GPU 計算比率。目前的研究顯示，這個比率是 Andromeda 類工作負載的重要因素。團隊正在評估端到端應用程式效能對這些比率的敏感度，並探索下一代平台中 CPU 與 GPU 執行、資源比率及耦合的靈活性，以便把架構改進套用到類似工作負載。

這些結果確認，協同設計的檢索管線尚未到達極限。量化釋出更多評分吞吐量，索引匹配的運作速度比評分網路高出一個數量級，架構有能力吸收更多模型複雜度，包括更深的互動網路、更豐富的特徵空間及額外的檢索路徑，而且不必等比例增加基礎設施。對使用者而言，這代表在相同延遲預算下能看到更相關的廣告；對廣告主，代表更好的客戶匹配與更多轉換；對 Meta，則是更高的廣告業務收入與更低的成本。