量化破壞對齐性：Qwen、Mistral 等多款 LLM 在不同精度下偏見涌現研究

研究人員針對 Qwen2.5-7B、Mistral-7B 與 Phi-3.5-mini 三款指令調優大語言模型，進行了大規模受控實證研究，系統性評估模型壓縮對模型品質的影響。實驗涵蓋 BF16 至 3 位元共五種精度等級，在 12,148 個 BBQ 偏見基準項目上，透過 5 個隨機種子產生了總計 911,100 次推論記錄，以區分漸進式退化與閾值依賴的安全失效。

研究結果顯示，3 位元量化會導致原本無偏見的項目中，有 6% 至 21% 產生了新的刻板印象行為。這種偏見增加呈現出清晰的劑量反應模式，並透過邏輯回歸（logistic regression）得到確認。現有研究通常僅比較全精度與單一量化變體，且依賴聚合偏見指標，無法像本研究般區分不同精度下的具體風險。

此發現揭示了量化這種常見優化手段的隱藏風險，表明在降低推論成本與記憶體佔用以進行雲端或邊緣部署時，可能伴隨模型安全性與公平性的下降。研究指出，過去對量化影響的理解不足，主要源於現有文獻無法區分漸進式退化與閾值依賴的安全失效，而本研究首次系統性地揭示了這一問題。