擲硬幣的法官？LLM-as-a-Judge 評估的可靠性與偏差研究

The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation

arXiv cs.AI2026-06-15

摘要

研究發現 LLM 擔任評判角色時存在嚴重的可靠性問題：在 29 項任務的重複評估中，GPT-4o-mini 和 GPT-4.1-mini 的配對偏好平均翻轉率達 13.6%，最高甚至達 56%。GPT-4o-mini 還出現明顯的位置偏差（傾向選擇首位選項達 72%），這對廣泛應用於排名模型、訓練獎勵模型和公開排行榜的 LLM 評判系統提出了重大質疑。

研究針對目前廣泛用於模型排名、獎勵模型訓練及公開排行榜的 LLM-as-a-Judge 機制，探討其運行間可靠性的不足。研究團隊利用 OpenAI 的 GPT-4o-mini 與 GPT-4.1-mini 兩個評判模型，在涵蓋 10 個類別的 29 項任務上進行重複評估，每題包含 50 次配對試驗（pairwise trials）與 50 次點數試驗（pointwise trials），並補充了溫度與提示敏感性消融實驗。

數據顯示，跨評判模型的配對偏好平均翻轉率達 13.6%，其中 28% 的問題翻轉率高於 20%，單一問題甚至高達 56%。此外，GPT-4o-mini 表現出顯著的首位位置偏差，在 A-majority 情境下選擇首位選項的比例達 72%（p = 0.024）。

儘管配對結果存在高翻轉率，但平均點數分數差距極小，介於 10 分制中的 0.19 至 0.36 分之間，且整體上未達統計顯著性。這導致了配對與點數之間的巨大落差：評判模型經常在自身標量分數缺乏有意義證據的情況下，強行選出獲勝者。

●開發者：需警惕在生產系統中過度依賴 LLM 評判的可靠性，建議採用多判官或人類驗證機制

●投資人：LLM 評估工具存在應用侷限，相關評分體系的商業價值需重新評估

●一般用戶：公開排行榜的排名可能不如預期可信，應警惕基於 LLM 評判生成的榜單

重要性評分

76/100

🟠 值得關注

LLM評判系統可靠性問題位置偏差模型評估

原文出處

上一則← OpenAI 推出 Partner Network 合作夥伴計劃下一則MedLatentDx：罕見病跨院診斷的隱層多智能體通訊框架 →

喜歡這篇？每天早晨還有更多。