多智能體推理提升計算效率：Pareto 最優測試時間縮放

研究團隊針對語言模型在不增加訓練成本下提升預測能力的四種推理方法進行了系統性分析，這四種方法分別為自洽性（self-consistency）、自精進（self-refinement）、多智能體辯論（multi-agent debate）以及混合智能體（mixture-of-agents）。研究重點在於探討這些方法在計算效能與成本之間的權衡，以解決資源受限的實際應用問題。

研究團隊在 MMLU-Pro 和 BBH 兩個推理基準上進行了超過 100 次的評估，涵蓋了 34 種不同的參數配置，包括平行預測數量、智能體數量及辯論輪次的擴展。透過計算帕雷托最優前緣（Pareto-optimal front），團隊選出了在最低計算預算下達成最佳準確度的方法。結果顯示，在 MMLU-Pro 基準上，當計算預算達到鏈式思考（chain-of-thought）的 20 倍時，推理擴展技術的準確率最高可提升 7.1 個百分點。

在相同的計算預算下，多智能體辯論與混合智能體方法的表現優於自洽性，分別高出 1.3 個百分點和 2.7 個百分點。研究發現，自洽性方法較早達到飽和，而多智能體方法則在更複雜的任務上持續獲得增益。基於此，研究提出了一項簡單的多智能體設計準則：當平行生成的數量超過序列聚合的數量時，混合智能體是最有效率的设计。