Forecast-Dojo：用於基準測試和訓練 LLM 預測代理的可重放環境

開源研究環境助力 LLM 預測能力評估

一支研究團隊推出 Forecast-Dojo，一個用來測試與訓練大型語言模型預測代理的可重放環境。這個平台由 Liqin Ye 及其他 10 位作者共同開發，已於 2026 年 9 月 24 日提交到 arXiv。

資料規模與環境設計

Forecast-Dojo 整合了已確認結果的預測市場問題，以及帶時間標記的新聞資料。環境內含 1,568 個 Polymarket 事件，按時間切分為訓練期與評估期，並搭配 1,880 萬篇帶日期的新聞文章。這樣的組合讓 LLM 代理可以針對同一事件在不同歷史時間點做研究，並在各個時間節點重新評估自己的預測。

重複評估與訓練的優勢

這個環境的關鍵設計是可以反覆評估，不必等新事件真的發生結果才能測試。平台同時提供互動軌跡與實際結果的回饋，讓代理拿來學習。這樣一來，研究人員既能蒐集訓練資料，也能拿已記錄的真實結果做回饋，不用等真實世界即時發生新事件。

模型評估結果

研究團隊評估了 12 個模型。結果顯示，配備研究工具的模型在 Brier 分數上都有改善。隨著事件逐步展開，預測品質也跟著提升，在出現較多新時間標記證據的步驟中效果最明顯。

不過，這 12 個模型的表現全數落後歷史預測市場的結果，在 Brier 分數與準確度兩項指標上都有差距。

信念記筆本的有限效果

研究中測試了一種叫「信念記筆本」的方法，可以在不同時間點之間傳遞資訊。結果顯示這個方法確實降低了研究成本，但沒能穩定地提升預測品質。

後續應用探索

除了拿來評估之外，Forecast-Dojo 也提供互動軌跡和結果回饋，供代理學習使用。研究團隊以監督式微調做為概念驗證，展示這個環境在訓練應用上的潛力。