SLAI T-Rex：昇騰 SuperPOD 上 DeepSeek-V4 全參數後訓練優化

研究團隊在華為昇騰 NPU SuperPOD 超級計算集群上，針對 DeepSeek-V4 兆參數級 MoE 模型完成了全參數後訓練。面對大規模分佈式訓練中嚴重的記憶體壓力、非重疊通訊開銷以及低效核心執行等系統層級挑戰，團隊開發了名為 SLAI T-Rex 的分層優化框架。該框架涵蓋模型層級並行、計算與通訊協調以及低層核心執行，旨在解決現有基於 GPU 集群的訓練系統所面臨的瓶頸。

優化後的系統在模型浮點運算利用率（MFU）上達到 34.22%，相比開源基線方案提升了 2.93 倍，同時維持了訓練的穩定性。基於此優化基礎設施，團隊進一步建立了針對複雜運籌最佳化（OR）任務的 CPT 和 SFT 工作流。透過 DeepSeek-V4-Flash 模型，團隊開發了面向 OR 的 CPT 和 SFT 數據管道，結合收集的領域資源與求解器驗證的合成最佳化文件。

最終構建的數據集包含 10K 個高品質 SFT 樣本，涵蓋四個任務類別與三種問題表示形式。在評估的模型中，該專用模型取得了最高的平均零樣本 Pass@1 分數，達到 71.81%。此成績優於 GPT-5.4-Mini 模型 3.98 個百分點，也優於基礎 DeepSeek-V4-Flash 模型 11.27 個百分點。