Yann LeCun 世界模型是什麼？顛覆現有 LLM 的 AI 終極解法解析

Yann LeCun 世界模型，指的是讓 AI 在內部建立一套「世界如何運作」的模型，再拿它來預測、推理與規劃。LeCun 在 2022 年 2 月 23 日 Meta AI 的 Inside the Lab 活動上提出這個方向：他認為，讓機器用自我監督的方式學會世界模型，可能是做出人類等級 AI 的關鍵。這篇用 Meta AI 官方部落格的兩篇說明，拆解世界模型的定義、LeCun 提出的架構，以及它和現在主流的生成式語言模型差在哪裡。

查看相關日報

什麼是世界模型？Yann LeCun 的核心定義

要理解 Yann LeCun 世界模型，可以從他對「常識」的看法開始。LeCun 指出，人和動物主要靠觀察，只透過極少量的互動，就學到大量關於世界如何運作的背景知識；這些累積下來的知識，可能就是一般所說的常識的基礎。Meta AI 的說明把常識看成一組世界模型，用來判斷什麼可能發生、什麼合理、什麼不可能。

在 LeCun 提出的架構裡，世界模型負責兩件事：第一，補上感知模組沒有提供的世界狀態資訊；第二，預測世界接下來可能的狀態，包括「如果照某一串行動去做，世界會變成什麼樣」。官方的比喻是，世界模型是一種模擬器，模擬的是與手上任務有關的那一部分世界。

整個架構由六個模組組成：

• Configurator（設定器）：負責執行控制，依任務預先調整其他模組。
• Perception（感知）：接收感測器訊號，估計目前的世界狀態。
• World model（世界模型）：整個架構中最複雜的模組，負責補資訊與預測未來狀態。
• Cost（成本）：輸出單一數值，代表代理的「不適程度」；代理的最終目標是讓內在成本降到最低。
• Actor（行動者）：提出行動序列。
• Short-term memory（短期記憶）：記錄目前與預測的世界狀態，以及相關成本。

換句話說，AI 不是直接吐出答案，而是由行動者提出一串行動、世界模型預測結果、成本模組評估好壞，再從中挑出成本最低的做法。這讓 AI 從「預測下一個詞」轉向「預測世界的狀態」。

世界模型 vs. 大型語言模型（LLM）：本質差異

Meta AI 介紹 I-JEPA 的文章把差異講得很清楚。大型語言模型背後的生成式架構，是先把輸入的一部分刪掉或打亂（例如遮住照片的一角、藏起一段文字裡的幾個字），再訓練模型把缺掉的像素或文字補回來。這種做法的缺點是，模型會試圖補齊每一個缺漏的細節，但世界本來就有大量無法預測的部分，結果模型可能把力氣花在無關緊要的細節上，犯下人類不會犯的錯。

LeCun 提出的解法是 JEPA（Joint Embedding Predictive Architecture，聯合嵌入預測架構）。以影片為例：把一段影片 x 和下一段影片 y 分別送進編碼器，轉成抽象的表徵，再訓練一個預測器，從 x 的表徵預測 y 的表徵；預測器可以搭配一個潛在變數，用來表示預測中的不確定性。重點在於，它預測的是抽象表徵，而不是逐一預測像素或文字，因此可以略過與任務無關的細節。

這種表徵還能一層層往上疊，變成階層式 JEPA，在不同的抽象層次與時間尺度上做預測。官方舉的例子是：「一位廚師正在做可麗餅」這種高層次描述，就能預測他接下來會去拿麵粉、牛奶和雞蛋，而不需要預測每一個手部動作。

2023 年，Meta 發表第一個依照這套構想打造的模型 I-JEPA，用一張圖片中的一塊區域，去預測同一張圖片其他區域的抽象表徵。官方說，I-JEPA 的預測器可以看成一個原始、受限的世界模型；它在多項電腦視覺任務上表現良好，運算效率也比其他常用的電腦視覺模型高。論文發表於 CVPR 2023，訓練程式碼與模型檢查點同步開源。

以世界模型為研究主軸的 AMI Labs 也在官網用同樣的邏輯說明分工：以自我監督訓練、預測未來的生成式架構，在語言理解與生成上非常成功；但相機等感測器取得的真實世界資料連續、高維又充滿雜訊，大部分無法預測，生成式做法效果不好，因此要改用能學習抽象表徵、在表徵空間裡預測的世界模型。

為何世界模型是通往 AGI 的關鍵？

LeCun 的說法是「人類等級的 AI」。他認為，當今 AI 最重要的挑戰之一，是設計出能讓機器以自我監督方式學會世界模型、再用它來預測、推理與規劃的學習方法與架構。Meta AI 的文章甚至寫道：訓練世界模型可說是未來數十年 AI 真正進步的主要挑戰。

設想中的路徑是這樣：階層式 JEPA 先透過觀看影片，學會預測影片裡接下來會發生什麼，形成對世界的階層式表徵；再透過在環境中採取行動、觀察結果，學會預測自身行動的後果，進而能夠推理與規劃。訓練到位之後，代理就能做階層式規劃，把複雜任務拆成一連串較簡單的子任務，一路拆到最底層的動作。

AMI Labs 也描述了「以行動為條件的世界模型」：讓代理系統預測自己行動的後果，並在安全護欄的限制下規劃達成任務的行動序列。它列出的應用領域是工業製程控制、自動化、穿戴裝置、機器人與醫療這類特別重視可靠性、可控性與安全的場景。

不過這條路還很長。Meta AI 在提出架構時就寫明，最困難的挑戰之一是如何把世界模型的架構與訓練程序具體實作出來；另外像是 critic 該怎麼訓練、configurator 該怎麼建構與訓練、短期記憶怎麼追蹤世界狀態，都還有待定義。

常見問題 FAQ

世界模型是否會取代目前所有的 LLM？

兩者處理的問題不同。依 AMI Labs 官網的說法，以預測為目標的生成式架構在語言理解與生成上非常成功；世界模型瞄準的是相機等感測器取得的真實世界資料，這類資料大多無法預測，生成式做法效果不好，所以改在抽象表徵空間裡做預測。LeCun 提出的六模組架構裡，核心是世界模型，而不是語言模型。

Yann LeCun 提出的世界模型何時能商業化應用？

目前公開的進度以研究成果為主。LeCun 在 2022 年提出架構時，Meta AI 就列出多項尚待解決的難題，例如世界模型的具體實作與訓練、critic 與 configurator 的訓練方式。2023 年的 I-JEPA 是第一個依此構想打造的模型。以世界模型為主軸的 AMI Labs，則把工業製程控制、自動化、穿戴裝置、機器人與醫療列為想發展的應用方向。

一般使用者如何接觸或使用世界模型技術？

想動手的開發者，可以從 Meta 開源的 I-JEPA 訓練程式碼與模型檢查點開始，論文發表於 CVPR 2023。想先了解原理，Meta AI 部落格的〈Yann LeCun on a vision to make AI systems learn and reason like animals and humans〉與 I-JEPA 介紹文，是最直接的兩篇官方說明。