參差不齐的評判者：LLM 評委在沉默、壓力和持續質疑下的認知穩定性研究

Jagged Judges: Epistemic Stability Under Silence, Pressure, and Persistence

每天早上一封信，5 分鐘看完 AI 重點。5min AI 是繁體中文的每日 AI 新聞整理，免費、可隨時取消。

arXiv cs.AI2026-08-14

摘要

研究團隊開發了 Wiggle Framework，用來測試大語言模型作為評判者的認知穩定性。研究發現，9 個最先進的模型在評判安全性、毒性、AI 寫作檢測等任務時，都出現了顯著的「搖晃」現象——在靜態質疑下翻轉評判結果 25-71%，在對抗性壓力下更高達 62-91%。這揭示了當前 LLM 評委作為評估和獎勵建模基礎設施存在的嚴重穩定性問題。

●開發者：需要認真檢視現有基於 LLM 評委的評估流程，考慮多層驗證機制

●投資人：LLM 評估基礎設施的可靠性問題可能影響模型商業化的信任度

●一般用戶：AI 安全評估和內容審核的可靠性需要提高

重要性評分

76/100

🟠 值得關注

LLM評委認知穩定性對抗性測試

原文出處

上一則← OpenAI 在 ChatGPT 中測試廣告功能下一則雲邊協作系統：資源受限的農村地區多模態臨床篩檢解決方案 →

每天早晨收到值得看的 AI 重點。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。