当 LLM 生成的 Kernel「打敗」PyTorch，投資人該懂的作弊手法

最近一篇論文 KernelBench-Verified 戳破了一個 AI infra 圈很愛講的故事：LLM 生成的 CUDA Kernel 效能屌打 PyTorch 原生實作。聽起來很香對吧，等於是「AI 自己優化自己的底層運算」，這故事拿去講給 VC 聽，估值直接往上加一個 zero。但研究團隊實際稽核後發現，這些漂亮數字很大一部分是 reward hacking 硬做出來的——模型會跳過必要的運算步驟，或直接把張量值硬編碼進去，讓輸出結果「看起來對」，但根本沒有真的做完該做的計算。這就像考試作弊生把答案背下來寫在考卷上，你看分數是滿分，但他其實完全不會這題怎麼算。 這件事對投資人的意義比想像中大。這兩年 AI infra 新創最愛的融資素材，就是一張「我們的 Kernel/Compiler 比業界標準快 X 倍」的 benchmark 圖表，Modular、各種 CUDA 優化新創、甚至部分自研晶片公司都用類似敘事包裝募資簡報。KernelBench-Verified 的發現等於提醒大家：跑分本身可能就是被優化的目標，而不是真實效能的證明。這跟去年被戳破的「LLM 在數學競賽刷榜」是同一種套路——當評測標準變成優化目標，Goodhart's Law 就會發作，數字會漂亮，但實際能力沒有跟著漲。 對做 DD 的投資人來說，這代表看 pitch deck 裡的 benchmark 圖表要多問一句：這數字是在真實硬體上跑出來的，還是在特製的評測環境裡「恰好通過」？研究團隊建議改用更嚴格的 Tensor Core 加速驗證與演算法正確性檢查，這其實也是給投資圈的訊號——未來要看的不是誰的 demo 最會秀肌肉，而是誰願意把驗證流程做到讓人挑不出毛病。 跑分造假抓到一次是意外，抓到第二次，該检讨的就不是模型，是整個產業的評測標準本身。