TorchTPU 整合進 TorchTitan，優化 TPU 模型訓練效能

TorchTPU 原生整合與 TorchTitan 效能突破

隨著 TorchTPU 推出，Cloud TPUs 現在有原生後端 `torch.device("tpu")`，直接整合進 PyTorch 的核心介面。開發者不用重寫程式碼，也不必再依賴舊版 `torch_xla`，只要微調裝置初始化程式，就能在 Google Cloud TPUs 上訓練大型模型。為了滿足分散式訓練的高效能需求，TorchTitan TPU 是 Meta TorchTitan 的分支，經調整後可在 Google Cloud TPUs 上訓練模型；Google 與 Meta 共同在 TorchTitan 內開發 TPU 原生執行通道，讓它成為在 Google Cloud TPUs 上擴展 PyTorch 的標準平台。

核心技術架構：SimpleFSDP 與 Graph Trainer

TorchTitan 建立在 PyTorch 原生擴展原語之上，其中 SimpleFSDP 取代 FSDP2。SimpleFSDP 把參數分片表達為 DTensor 參數化，使 all-gathers 與 reduce-scatters 成為追蹤圖中的普通節點，XLA 編譯器因此能讓這些操作與矩陣乘法重疊執行。這個設計在 FLUX 模型上達到 JAX MaxDiffusion 99% 的效能 parity。

Graph Trainer 則透過 `make_fx` 追蹤器捕捉整個訓練步驟（前向、損失、反向及優化器更新），產生單一 FX 圖。XLA 因此能套用大型模型編譯技術：層掃描（scan）讓編譯時間與記憶體消耗不再隨模型深度增加，圖分割（graph splitter）則把訓練步驟切成分別編譯的前向與反向程式，並在兩者之間把激活卸載到主機記憶體。在 Qwen3 235B 模型上，這條路徑達到 29%+ 的 MFU；若再搭配可追蹤的 functional AdamW 優化器，Qwen3-8B 的 MFU 可達 51-52%。

自訂 Pallas 核心與最佳化策略

TorchTitan 採用可插拔架構，透過配置樹替換模型區塊，以優化 TPU 效能。關鍵優化包括： * Splash Attention：用 Pallas 核心處理因果、滑動視窗及打包文件遮罩，不需生成注意力矩陣。 * 融合損失函數：把最終投影與交叉熵損失融合，不必將完整 logits 張量寫入 HBM。 * MoE 優化：用分組 Pallas 核心取代 MoE 專家矩陣乘法。

這些核心可來自 tokamax 庫，並透過 `torch.tpu.pallas.jax_op` 裝飾器轉為 PyTorch 自訂運算元。建議的最佳化流程是先建立基線（延遲融合 eager 模式或區塊編譯），接著啟用 SimpleFSDP 與混合精度（bf16 參數、fp32 梯度），最後針對大模型啟用掃描或圖分割。

實測案例與 Hugging Face 支援

在 TPU v7x (Ironwood) 上的實測結果如下： * Llama 3 405B：在 128 至 1,024 晶片上維持約 57% MFU。 * Qwen3 235B：在單一 1,024 晶片切片達 32.42% MFU，跨八個切片（8,192 晶片）達 30.51% MFU。 * Muse Glimmer 30B：在 128 晶片上達 43.4% MFU。 * FLUX.1：在 1,024 晶片上達 19.4% MFU，弱擴展效率為 93%。

為降低導入門檻，TorchTitan 提供 Hugging Face Transformers 建模後端。這個後端支援 500 多個 Hugging Face 模型，會自動套用 SimpleFSDP、區塊編譯、Splash Attention 及融合 Pallas 交叉熵等基礎優化，不必修改模型程式碼。此外，專案也提供模型導入技能，工程師或 AI 代理可以重複執行模型遷移程序。

未來發展路線圖

路線圖包含五條主線：生產就緒、精度、硬體、平行處理與模型。 1. 生產就緒：整合 ML Goodput Measurement 與 GKE 多層檢查點。 2. 精度：擴展 Float8 配方至更多模型。 3. 硬體：支援即將推出的 TPU 8t 與 TPU 8i。 4. 平行處理：開發 MoE 專家平行處理與長上下文訓練。 5. 模型：支援 Qwen3.8-Max（2.4 兆參數）與 Kimi K3（2.8 兆參數）。