Meta 訓練 GEM 模型：如何將 LLM 規模廣告基礎模型的效率翻倍

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Meta AI Blog · 2026-08-03

摘要

Meta 宣布其用於 Instagram 和 Facebook 廣告推薦的生成式廣告推薦模型（GEM）已擴展至 LLM 規模，在數千張最新世代 GPU 上進行訓練。透過自訂推薦核心庫（如 Jagged Flash Attention）與硬體軟體共同設計，Meta 成功將端到端訓練效率提升至 20-25% 的 MFU，並在 12 個月內將訓練算力提升 4 倍。這項突破解決了推薦系統與 LLM 交叉領域的工程挑戰，顯示 AI 基礎設施優化可顯著提升大規模模型訓練效能。

●開發者：可關注 Jagged Flash Attention 等針對非典型 LLM 工作負載的效能優化技術

●投資人：Meta 在 AI 基礎設施與訓練效率上的投入可能轉化為廣告業務的成本優勢

●一般用戶：廣告推薦系統的運算效率提升，有助於維持服務穩定性與更新速度

重要性評分

65/100

🟠 值得關注

MetaGEMLLM訓練效率基礎設施

原文出處

上一則← AMD 資料中心業務 booming，AI 需求帶動營收創新高

喜歡這篇？每天早晨還有更多。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。