研究突破
機制證據顯示:強制選擇題格式會抑制大模型的拒絕回答能力
Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP

arXiv cs.CL2026-11-09
摘要
研究針對 Llama-3.1-8B 與 Qwen3-8B 模型進行機制分析,發現當使用多選題(MCQ)格式進行安全基準測試時,模型會極快地鎖定答案字母,導致拒絕回答的機率顯著降低。研究指出,MCQ 格式下的模型激活狀態距離「拒絕方向」較遠,且干擾負責答案選擇的注意力機制可恢復拒絕行為,這揭示了評估格式可能嚴重影響對模型安全行為的真實判斷。
研究針對大語言模型安全評估中多選題(MCQ)格式導致拒絕回答率下降的問題,對 Llama-3.1-8B 與 Qwen3-8B 進行機制分析,並使用包含生物安全 1,273 筆、化學安全 408 筆、網路安全 1,987 筆樣本的 Weapons of Mass Destruction Proxy (WMDP) 數據集驗證。
分析顯示,MCQ 格式下模型會快速鎖定答案字母,致使拒絕機率顯著降低。透過 tuned lens 技術發現,Llama-3.1-8B 在層數 15–18 之間、Qwen3-8B 在層數 22–25 之間,模型會快速承諾一個答案字母 token,此時拒絕信號尚未形成;相較之下,開放式格式中的拒絕 token 概率是逐漸累積的。幾何分析進一步指出,MCQ 格式下的模型激活狀態距離「拒絕方向」約為開放式格式的 3 倍遠,表明 MCQ 格式抑制了與拒絕相關的表示和計算路徑。
注意力機制(attention heads)的消融實驗提供了因果證據。在 Llama-3.1-8B 上,移除負責 MCQ 答案選擇的注意力頭會降低正確字母的概率,並使拒絕代理(refusal proxy)重新出現,直接證明 MCQ 的答案選擇機制與拒絕行為存在競爭關係。研究指出,MCQ 評估中的安全分數主要測量的是危險知識的檢索能力,而非安全機制的激活情況。
●開發者:在設計或解讀 LLM 安全基準測試時,需警惕 MCQ 格式可能虛假提升模型的安全表現
●投資人:關注 AI 安全評估工具的演進與模型真實風險暴露
●一般用戶:了解現有安全測試可能存在格式偏差,模型在實際對話中的拒絕行為可能與測試結果不同
重要性評分
🟠 值得關注
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。
相關指南

Claude Code Artifacts 是什麼:即時預覽與互動功能解析
深入解析 Claude Code Artifacts 是什麼,掌握其即時預覽與互動功能。本文提供完整的 Claude artifacts 教學,並分析 claude code 新功能對開發者介面的影響。
閱讀指南
Canva AI vs Photoshop AI:2026 年設計工具怎麼選
2026 年 Canva AI vs Photoshop AI 功能比較。深入分析 Canva AI 功能與 Photoshop AI 生成能力,協助您選擇最適合的 AI 設計工具推薦方案。
閱讀指南
Vibe Coding 是什麼?Cursor 實戰教學與最佳實踐
深入解析 Vibe Coding 概念,提供 Cursor 實戰教學與使用技巧。掌握 AI 輔助程式設計,從零開始打造高效開發流程的最佳實踐指南。
閱讀指南本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。