MIT、Google 與 Northeastern 大學合作推出 InstructMesh，讓使用者修復 AI 生成的 3D 模型並進行客製化製造

解決 AI 生成模型「好看但不能用」的問題

生成式 AI 用在 3D 列印時，常做出外觀漂亮、卻沒有實用功能的模型。麻省理工學院（MIT）電腦科學與人工智慧實驗室（CSAIL）、Google 與東北大學的研究團隊，為此共同開發了名為 InstructMesh 的新工具。該系統要解決傳統 AI 模型難以編輯的問題，讓非專業用戶也能輕鬆設計出符合實際功能需求的物品，並進行客製化製造。

研究指出，現有 AI 模型通常看得懂物體的外觀特徵，卻不了解它如何運作，生成的設計因此常常不切實際，例如生成無法盛裝咖啡的杯子。用戶想修正這些錯誤，又因為缺乏 3D 建模專業知識，修改起來相當困難。InstructMesh 結合視覺與文本知識，提供直觀的介面，讓使用者針對特定區域標記與修補，生成既美觀又實用的日常用品、配件，甚至機器人外殼。

結合 TRELLIS 與 GPT-4 的架構

InstructMesh 的核心架構結合了 Microsoft 的 TRELLIS 系統與大型語言模型 GPT-4。TRELLIS 負責從文字或圖像提示生成 3D 模型，GPT-4 則提供推理能力。研究團隊希望把 3D 生成器的視覺能力與 LLM 的邏輯推理能力整合在互動空間中，做出人們真正需要的物體。

主要作者 Faraz Faruqi 表示，語言模型擅長處理文本與圖像，而 TRELLIS 因為接觸過大量數據，具備強大的 3D 模型創建能力。InstructMesh 的操作在生成模型的潛空間中進行，支援用自然語言描述問題，並為用戶生成幾何解釋性變更，供其評估與批准。這種設計降低了對領域專業知識的需求，新手也能憑直覺完成精確調整，例如用滑桿放大或延伸模型的特定部分。

創意應用與結構缺陷修復測試

研究團隊用 InstructMesh 做出多種創意應用。生成的物品包括外觀像被龍包裹、以尾巴當把手的馬克杯；形似貝殼的閃亮藍色哨子；以及鏡片上方延伸出蝴蝶翅膀的眼鏡。此外，該工具還能製作類似章魚的飲料分配器，讓液體從每個觸手流出，同時分裝到多個杯子。功能性應用方面，團隊甚至做出外觀模仿牛仔布、可匹配患者褲子的膝蓋護具，以及內藏馬達、啟動後能像發條玩具般滑行的彩色蝦形「刷毛機器人」（bristle bot）。

為了驗證工具的效果，研究人員讓 TRELLIS 重新生成 Thingiverse 平台上流行的 3D 模型，發現近 80% 的模型存在某種結構缺陷。接著，他們邀請新手，用 InstructMesh 找出並修復這些問題。結果顯示，在專家審查下，新手約有 90% 的機率能成功完成識別與修復。參與測試的用戶表示，該工具易於使用，能實現廣泛的創意構想。

未來發展與學術發表

Faraz Faruqi 目前已在 Google 工作，他計畫把 InstructMesh 整合到擴增實境（AR）平台。未來的構想是讓用戶依周遭環境脈絡描述需求，系統就能快速生成並 3D 列印對應物品，例如製作與錢包匹配的行動電話殼。此外，軟體未來可能加入物理模擬功能，預測設計在特定使用情境下的反應，例如碗具掉落時是否會破裂，並建議最合適的材料。

這項研究由 MIT EECS 與機械工程副教授 Stefanie Mueller 擔任資深作者，Faraz Faruqi 與 Mueller 共同撰寫論文，合作者包括 Google 研究人員 Ahmed Katary、Fabian Manhardt、Vrushank Phadnis、Ruofei Du 與 Federico Tombari，以及東北大學助理教授 Megan Hofmann 和多位 CSAIL 同事。研究部分資金來自 Google 與 MIT-HPI 合作研究計畫，成果將於 11 月在 ACM 使用者介面軟體與技術研討會上發表。