3D 生成模型的微調指南

TRELLIS.2 微調技術實作指南

Hugging Face 於 2026 年 11 月 12 日發布 3D 生成模型 TRELLIS.2 的微調完整指南，提供可直接執行的腳本與容器，可在本地環境或 Hugging Face Jobs 雲端平台上運行。這份資源是為了協助開發者針對特定領域的 3D 資產自訂與優化模型，補足通用模型在細節處理上的不足。

微調目標與技術選型

TRELLIS.2 這類通用模型雖然生成能力廣泛，但在特定應用場景中，可能達不到嚴格的幾何標準。例如在家具或鞋類建模中，預訓練模型可能產生外觀正確、鞋底結構卻有誤的輸出。為改善這個問題，研究團隊以 Google Scanned Objects (GSO) 數據集中包含 188 個鞋類物件的子集進行實驗，並採用低秩適配（LoRA）技術。LoRA 會訓練小型適配器矩陣，同時凍結原始權重，因此能減少可訓練參數數量與記憶體需求。

在架構選擇上，TRELLIS.2 的生成流程分為背景移除、圖像編碼、粗結構預測、詳細幾何生成及材質生成五個階段。研究指出，只需對控制物體形狀與幾何的「稀疏結構流 DiT」與「形狀流 DiT」加上 LoRA 適配器，「材質流 DiT」則維持凍結。原因是實驗數據集只有漫反射顏色圖，缺少材質流所需的獨立材質圖，而且訓練材質流可能讓模型遺忘原有的顏色與紋理生成能力，也就是災難性遺忘問題。

參數配置與訓練細節

這個數據集規模不大，全量微調成本高，也容易蓋掉模型原有的良好表現，因此 LoRA 是較好的選擇。配置上，稀疏結構流 DiT 的注意力層與前饋層使用秩 8 的適配器，形狀流 DiT 的注意力層使用秩 16 的適配器，合計訓練約 930 萬個適配器參數。訓練目標採用整流流匹配（Rectified Flow Matching），與模型預訓練時的目標函數一致。

在數據預處理階段，團隊用 Blender 為每個物件渲染 16 個視角作為條件圖像，並以 TRELLIS.2 的凍結編碼器將網格轉換為訓練用的潛變表示。數據集分成 179 個訓練物件與 9 個保留用於評估的物件，藉此驗證適配器在未見過物件上的泛化能力。訓練時批次大小設為 4，搭配 4 次梯度累積，有效批次大小為 16，並使用 bfloat16 自動混合精度以節省記憶體。

執行環境與效能評估

開發者可以在 Hugging Face Jobs 上使用 a100-large（80 GB）硬體執行，也可以透過 Docker 在本地運行。預處理容器負責渲染與潛變轉換，微調容器負責載入數據並訓練適配器。實驗結果顯示，稀疏結構流 DiT 的微調耗時約 7.2 小時，形狀流 DiT 約 3.6 小時。

在保留的 9 個測試物件上，微調後的模型表現明顯提升。與基礎模型相比，F-score 從 0.276 提升至 0.803，Chamfer 距離從 0.174 降至 0.033，法線一致性從 0.530 提升至 0.804。視覺對比顯示，微調模型生成的鞋底幾何結構更接近參考掃描數據。指南強調，訓練目標必須與問題及數據特性相符，並提到未來可進一步探討此方法在其他 3D 生成模型中的適用性。