量化壓縮不一定讓模型變傻：Qwen3.6-27B 的 Q4_K_M 版本，成績跟 BF16 原版沒有顯著差異

如果你在本機跑開源模型，這則實測可以讓你少糾結一件事：不用硬追 BF16 原版。電腦王阿達整理了一份針對 Qwen3.6-27B 的測試，把 24 種 GGUF 量化格式全部拉出來比。結果是 Q4_K_M 跟 BF16 在 AIME、Terminal-Bench 這些基準測試上，表現沒有顯著差異。標題的結論更寬：Q3_K_M 以上跟滿血幾乎沒差。 很多人直覺上覺得，模型被壓縮一定會掉智商，格式越小越笨。這份實測只在最底端找到明顯的崩壞：研究指出，只有 2 位元量化會導致嚴重的性能下降。換句話說，掉分不是隨位元數一路平滑往下滑，在 2 位元之前，成績都還撐得住。 怎麼挑檔，研究也給了一個具體的標準：KL 散度 0.05 是性能選檔的紅線。以前選量化檔多半靠網友經驗，「Q4 好像夠用」之類的，現在至少有一個可以對照的數字。 另一個容易搞錯的點是速度。研究的結論是，量化主要節省的是記憶體，而不是提升速度。很多人下載小檔是期待模型變快，這份實測的說法是你省下的是空間。你的顯卡或統一記憶體塞不塞得下，才是量化真正解決的問題。 我自己的看法是，這比較像 JPEG 壓縮。大部分人肉眼分不出原圖跟高品質壓縮檔，但壓到某個程度，馬賽克就跑出來了。差別在於模型這邊現在有 KL 散度這把尺，不用靠肉眼猜。 要注意的是，這份測試只針對 Qwen3.6-27B 這一個模型，換成別的模型、別的任務，結論不一定原封不動搬得過去。但至少在這個模型上，下一次下載 GGUF 時，Q4_K_M 可以放心點下去，2 位元那一檔就先跳過。 本機跑模型的門檻，大概會繼續從「買不買得起顯卡」，慢慢變成「會不會挑檔」。