阿凱📝 主編觀點 · 技術趨勢解讀 — 技術上發生什麼，為什麼重要，背後的原理是什麼
ARC-AGI-3 出來了，但 AI 真的「會推理」了嗎？
ARC Prize 剛公布 ARC-AGI-3，刷新了整個 AI 評測榜單，各家模型開始搶著跑分。但這個消息背後有一件事值得多看一眼：ARC-AGI 這個測試本來就是為了「測 AI 做不到的事」而生的。
ARC-AGI 系列是 François Chollet（Keras 的作者）設計的，核心理念是：如果一個題目能被大量訓練資料覆蓋，它就不算真正的推理測試。每一道 ARC 題目都是邏輯圖形填空，讓人類看五秒就懂，但舊版 GPT 系列一度答對率低於 20%。
所以當 ARC-AGI-3 出來，然後馬上被刷新排行榜，聽起來很爽，但其實要小心解讀。刷榜不代表 AI 真的「會推理」——更可能的解釋是，模型架構和訓練策略進步了，讓它在這個特定格式的測試上表現更好。就像你刷了 100 套學測模擬題之後，不代表你的邏輯能力真的提升了，只是你更熟練這種題型了。
Chollet 本人其實也一直在擔心這件事。他設計 ARC-AGI 的初衷，是希望它成為一面「照妖鏡」，能區分真正的通用推理能力和過度擬合的模式識別。但每次 AI 模型有突破，他就得去更新測試，這幾乎已經變成一場貓鼠遊戲。
真正有意思的問題不是「誰在 ARC-AGI-3 上得第幾名」，而是「這些模型在沒見過格式的全新問題上，表現如何」。目前沒有哪家公司把這個數字拿出來講，因為那個數字通常沒那麼好看。
目前 AI 在推理能力上的進步是真實的，特別是 o3、Claude 3.7、Gemini 2.0 這一代確實在數學和程式邏輯上有肉眼可見的跳升。但「刷新 ARC-AGI-3 榜單」和「AI 接近 AGI」之間，還有很大的距離。
評測基準本身就是一個會被攻略的目標，這件事可能比任何榜單排名都更值得記住。
