Dynin-Omni：首個基於遮罩擴散的統一多模態大模型

Dynin-Omni 是首個基於遮罩擴散（masked diffusion）技術的統一多模態基礎模型，其架構能同時處理文字、圖像、語音的理解與生成，並包含影片理解。該模型在單一架構內整合了多模態能力，與依賴序列化處理異質模態的自回歸統一模型，或需借助外部特定模態解碼器進行編排的組合式統一模型不同。Dynin-Omni 將多模態建模原生地定義為共享離散 token 空間上的遮罩擴散，支援在雙向上下文環境下進行迭代優化。

在訓練策略上，Dynin-Omni 採用多階段訓練方法，結合基於模型合併的模態擴展與多模態對齊。研究團隊在涵蓋語言推理、圖像生成與編輯、影片理解，以及語音識別與合成等領域的 19 項多模態基準測試中對其進行了評估。

測試結果顯示，Dynin-Omni 在 GSM8K 上取得 87.6 分，在 MME-P 上達到 1733.6 分，VideoMME 得分為 61.4，GenEval 得分為 0.87，語音識別錯誤率（WER）為 2.1。這些數據證明了該模型在語言推理、圖像生成編輯及語音識別等多項任務中的表現。