省電的量化術，可能讓 AI 更耗電

業界壓低 AI 推理成本的標準做法之一，是把模型「量化」——原本用 FP16（16 位元浮點數）存的參數，砍到 INT4（4 位元整數），檔案變小、算得更快、更省電。這已經是產業共識，大家預設這是穩賺不賠的效率提升。 但 arXiv 上一篇新論文戳破了這個假設。研究團隊針對大型推理模型（LRMs，就是那些會「想過程」再給答案的模型）測試統一套用 INT4 量化，發現這招可能傷到模型裡負責推理的關鍵電路。更反直覺的是，整體能耗不但沒降，甚至可能不降反升。 原因不難理解：量化像是把所有零件都用同一套規格打折出貨，省成本沒錯，但如果打折打到主機板上最精密的那顆晶片，機器算得慢、算錯重來，反而更耗電。推理模型跟一般語言模型不一樣，它要一步步推導、自我檢查，這個過程仰賴的運算路徑對精度特別敏感，粗暴地全部砍到 4 位元，等於把整條思考鏈裡最脆弱的那幾段也砍了。 研究團隊提出的解法叫「推理感知壓縮」（reasoning-aware compression）：先偵測出哪些模組對推理特別敏感，這些留著用 FP16 跑，其他不敏感的部分才用 INT4 壓縮。等於是精準打折，而不是全店統一折扣。 這篇論文提醒的事情很直接：量化不是無腦省錢的萬靈丹，尤其對會「思考」的模型來說，你砍的每一位元都可能砍在刀口上，也可能砍在動脈上。隨著推理模型越來越普及（GPT 的 o 系列、Claude 的擴展思考模式都是），這種「哪裡可以省、哪裡不能省」的精細判斷，會變成一門新的工程學問，而不是丟給壓縮工具自動處理就好。 省電這件事，看來也需要先搞清楚自己在省什麼。