證據閾值機制：LLM 多代理系統中覆核權限的實證研究

證據閾值機制：LLM 多代理系統中覆核權限的實證研究

在多代理語言模型系統中，加入覆核者是為了修正上游代理的決策，但這種做法有兩面風險：可能修正錯誤，也可能干擾原本正確的決策。研究提出「證據閾值」概念，要求覆核者必須提供機械性有效的違規紀錄與修正方案，才能推翻上游代理的決策。這個機制保留了大部分錯誤修正能力，同時顯著減少對正確決策的無謂干擾，為提升多代理系統可靠性提供了一種制度設計思路。

實驗設計與模型設定

研究使用兩款本地運行的開源權重模型：Qwen3-8B 與 Mistral-Small-24B-Instruct-2501。所有生成過程都採用零溫度設定，並透過 OpenAI 相容的 MLX-LM 伺服器，在配備 24GB 記憶體的 Apple M4 Pro 上執行。實驗涵蓋 96 個空間政策任務，以及一個包含 96 個任務的投資組合轉移基準測試。

在空間政策任務中，每個任務包含七個合成委託人與七個政策選項，並設有受保護的約束條件。研究把上游提案分成三種狀態：正確（符合約束且最優）、違規（違反約束），以及合規但次優（符合約束但未達最優）。覆核者要依這些狀態提供結構化審計報告，內容包括建議的識別碼、約束值及違規判斷。

證據閾值與廣泛覆核權限的比較

研究比較了兩種覆核規則：廣泛覆核權限與證據閾值。在廣泛覆核下，只要覆核者的回應能被解析，其建議就成為最終決策。在證據閾值機制下，只有覆核者提供結構化紀錄，證明提案違反保護性義務，且建議的替代方案符合該義務時，才會進行替換。

實驗結果顯示，在空間政策任務中，證據閾值機制把正確提案被腐蝕的情況降到零。對 Qwen3-8B 與 Mistral-Small-24B-Instruct-2501 來說，證據閾值相較於廣泛覆核，在精確最優性上都帶來 88.5 個百分點的正面效應。不過，這個機制也限制了對合規但次優提案的優化能力。在空間任務中，廣泛覆核在 2 個 Qwen 案例與 6 個 Mistral 案例中找到精確最優解，而證據閾值因制度禁止，無法改動這些提案。

行動感知介面對覆核行為的影響

研究接著測試了提供明確「保留」、「替換」或「上訴」選項的行動感知介面。結果顯示，介面設計會改變覆核者的行為，效果也因模型而異。對 Qwen3-8B，行動感知介面讓它在全部 48 個正確提案中選擇保留，消除了正確提案的腐蝕，但也放棄了所有只涉及福利改善的修正。對 Mistral-Small-24B-Instruct-2501，該介面使它替換了全部 48 個正確提案，造成全面腐蝕，並引入新的違規。

在投資組合轉移基準測試中，證據閾值對 Qwen3-8B 的正確提案保護效應為 59.4 個百分點，對 Mistral-Small-24B-Instruct-2501 為 40.6 個百分點。不過，在合規但次優的提案上，廣泛覆核的優化能力較強。證據閾值在這類任務中，讓 Qwen3-8B 損失 51.0 個百分點、Mistral-Small-24B-Instruct-2501 損失 87.5 個百分點的精確最優性。

結論與設計啟示

研究結論指出，受限的覆核並非普遍優於廣泛覆核。覆核者的能力、行動介面與綁定管轄權，共同決定了修正領域與腐蝕表面。證據閾值在保護合規性與已正確決策方面表現可靠，但並非通用的精確福利優化器。當違規行為具有詞法順序或安全關鍵成本時，即使整體精確最優性未達最佳，窄幅閾值仍具吸引力。設計者需要同時考慮上游狀態頻率、覆核者過渡率及證據檢查器的可靠性，不能只靠單一指標來評估覆核機制。