MixAtlas：多模態大語言模型中階訓練的不確定性感知數據混合優化

針對多模態中階訓練（multimodal midtraining）的數據混合優化問題，現有訓練配方通常僅能沿著單一維度進行調整，例如數據格式或任務類型，這限制了樣本效率與下游泛化能力的提升。研究團隊提出 MixAtlas 方法，旨在解決這一未被充分探索的領域，生成可視化、可調整且可轉移至新語料庫的基準目標數據配方。

MixAtlas 將訓練語料庫沿著兩個軸進行分解：一是包含 10 個視覺領域聚類的圖像概念（透過 CLIP embeddings 發現），二是包含 5 種目標類型的任務監督（涵蓋 captioning、OCR、grounding、detection 以及 VQA）。在搜尋最佳數據混合比例時，該方法使用小型代理模型 Qwen2-0.5B 搭配高斯過程代理模型（Gaussian-process surrogate）與 GP-UCB 獲取函數。

實驗評估顯示，MixAtlas 在搜尋混合空間時，使用了與基於回歸的基線相同的代理預算，卻能找到表現更優的混合結果。該方法在涵蓋視覺理解等領域的 10 個基準測試中進行了驗證，證實其能有效提升樣本效率與下游泛化能力。