能力邊界研究：現有基準測試遺漏 82% 的模型真實性能

現有大型語言模型（LLM）的基準測試通常僅報告單一模型在單一運行中的準確率，這種方法系統性地低估了真實世界的能力，特別是在數據分佈異質的情況下。研究指出，不同模型會根據其專長答對不同的問題，且在預算限制下，可以通過採樣多次生成並選擇性保留結果來提升表現。

為量化此差距，研究團隊提出了「能力邊界」（Capability Frontier）概念，這是一組模型上的帕累托邊界，用於描述在最佳跨模型與跨生成選擇（即透過神諭機制）下，每個成本水平所能達到的最佳性能。該構建方法修正了兩種對立的偏差：單一模型評估導致的低估，以及對噪聲樣本取最大值導致的過度高估。

研究團隊在 21 個 LLM 上進行了測試，涵蓋編碼、推理、醫學、事實性、指令遵循和代理任務等 16 個廣泛使用的基準。結果顯示，修正單一模型評估可將錯誤率降低 54%；進一步修正單一運行則帶來 82% 的改進，並在成本降低 85% 的情況下達到與最優模型相同的準確率。此外，受控概率模擬表明，查詢主題熵越高，神諭路由與最佳單一模型之間的性能差距呈現近乎單調的增加。這些發現表明，集體 LLM 能力在數據異質和多領域設置中被嚴重低估。