LLM Judge 共識高估證據：錯誤依賴性研究

Elias Hossain、Niloofar Yousefi 與 Ser-Nam Lim 在 arXiv 2609.22512 中研究指出，LLM Judge 之間的共識常被視為決策正確的強證據，但這假設了錯誤是獨立發生的。實際上，由於訓練與評估方式相似，不同 LLM Judge 之間存在顯著的錯誤相關性。研究發現，在包含十個 Judge 的主要測試組中，Judge 錯誤之間的平均成對相關性為 0.21，這意味著十個 Judge 提供的統計資訊僅約等於 3.5 個獨立 Judge。

這種依賴性在高準確度的前沿 Judge 中更強，即使這些 Judge 來自不同供應商。在最多 28% 的比較案例中，忽略共享錯誤會導致得出某個系統顯著較好的結論，而考慮共享錯誤後則不然。研究同時發現錯誤模式會影響共識，多數 Judge 共享的錯誤與集中在較小群組的錯誤對共識的影響不同，並有利於不同的投票方法。

基於這些發現，研究建議使用一組受信任的範例來估計 Judge 準確度並識別共享錯誤。在將投票方法應用於新數據之前，應先使用受信任範例選擇投票方法，並在分析結果時考慮這些共享錯誤。