Mean Velocity Matching：重新思考 Diffusion 模型的生成動力學

由 Yunhong Zhang、Changjie Cao、Zhihua Zhang 及另外六位研究者組成的團隊，最近在機器學習領域提出一種新的參數化方法，稱為 Mean Velocity Matching（MVM），用來改進擴散模型中隨機生成過程的設計。這項研究已於 2026 年 9 月 21 日提交至 arXiv。

核心問題與解決方案

現有的速度基礎生成模型雖然只需學習單一傳輸場、設計簡潔，但標準形式本質上是確定性的。當模型要擴展到隨機設定時，通常得依賴額外的分數資訊，或是進行速度轉換為分數的中間重構步驟。

MVM 的作法是保留單一場預測的優勢，同時直接支持隨機反向動力學，做法是構造高斯擾動過程。在這個過程中，一個面向修復的速度——即 $(x_0-x_t)/t$——的條件期望，直接構成反向隨機微分方程（reverse-SDE）的漂移項。這樣一來，單一學習的場就足以參數化隨機反向過程，不需要額外估計或重構分數。

克服技術挑戰

研究團隊發現，直接對這種速度做迴歸，在接近時間 $t=0$ 時會出現無界的問題。為了解決這點，MVM 引入 $\sqrt{t}$ 縮放的參數化方法，這樣能保持反向動力學完整，同時讓訓練目標變成有界。

此外，這個學習場還會誘導出一個確定性的概率流 ODE，讓隨機和確定性採樣可以在同一個框架下研究。

實驗成果

研究團隊採用基於 Transformer 的生成模型做實驗驗證。在 ImageNet $32\times32$ 資料集上，MVM 在一定數量的函數評估下達成相應的 FID 分數；在解析度更高的 ImageNet $256\times256$ 資料集上也取得對應的性能指標。

研究團隊也做了受控的 SDE 與 ODE 比較，發現：函數評估數量極少時，ODE 表現較好；函數評估數量足夠多時，隨機反向過程則能達到更低的 FID 分數。

意義與應用

這些結果顯示，MVM 提供隨機反向動力學的直接單場參數化，同時維持具競爭力的生成品質。