大家都說 AI 的瓶頸是算力，但評估才是真正的絕境

Hugging Face 上週發了一篇文章，說了一件讓很多人看完頓時沈默的事：現在評估一個 AI 模型的算力成本，已經超過訓練它本身了。 這很反直覺。大家的直覺是：訓練才是最貴的，評估不就是跑幾個 benchmark 嗎？ 但現實是，當模型越來越強，你要測它「夠不夠強」這件事，本身就變得無比昂貴。你不能再用舊的考題——模型早就背答案了。你要設計更複雜的情境、更長的推理鏈、更貼近真實任務的測試集。這些跑起來，比訓練還燒錢。 更麻煩的是，這個問題沒有顯而易見的出口。訓練的算力瓶頸，還可以靠老黃多賣幾張 H100 解決；評估的瓶頸是結構性的——你必須先知道「什麼叫做夠好」，才能測量它。而「什麼叫做夠好」這個問題，在 AGI 的路上越走越難回答。 Google 的 MMLU 跑滿了，就換 GPQA；GPQA 跑滿了，又換 ARC-AGI。業界的評估框架換得比手機殼還快，但每次換，都只是在買時間，不是在解決根本問題：我們其實不太知道怎麼嚴謹地測量智能。 這對整個產業有一個很具體的連鎖效應：如果你連模型好不好都不確定，你怎麼決定要不要繼續砸錢訓練下一版？這不只是研究室的問題，這是投資人、PM、每一個要決定「用哪個模型上線」的工程師都會撞到的牆。 Goodfire 剛推出的 Silico 工具，讓開發者在訓練時就能直接調整模型內部參數，某種程度上是在試圖從另一個角度繞開這個問題——與其評估出來之後再改，不如在過程中就看進去、即時修正。這條路走不走得通還不知道，但至少說明業界已經意識到：等模型訓練完再來驗屍，已經太慢了。 AI 競賽的下一場，不是比誰的模型更大，而是比誰更早搞清楚「怎麼量」這件事。