OpenFrontiers：開放研究問題集與科學重發現基準測試

跨學科開放研究問題集與數學基準測試

伊利諾伊大學厄巴納-香檳分校的研究團隊發布了 OpenFrontiers，這是一個結合了包含 12,151 個開放研究問題的結構化語料庫，以及針對數學領域回顧性基準測試的跨學科資源。該基準測試包含 200 個問題，其中 110 個已在 2026 年解決，90 個仍處於開放狀態。所有問題均透過 Lean 4 語句與自動化檢查確保嚴謹性，目的是評估大型語言模型在研究級問題解決上的能力。

語料庫規模與結構

OpenFrontiers 語料庫收錄了來自 62 個來源集合的 12,151 個問題記錄，涵蓋 10 個頂層領域和 32 個子領域。其中 65.9% 的記錄標註了 MSC 2020 程式碼，1,946 個記錄附有 Lean 4 語句。在狀態分佈上，50.7% 的記錄被標記為開放，46.0% 為未評估，2.9% 為部分解決。數學領域佔據了 11,349 個記錄，比例達 93.4%，其餘主要為物理、電腦科學和機器學習領域。

基準測試組成與篩選

OpenFrontiers-Bench 包含 200 個數學研究級問題，每個問題都擁有經過檢查的 Lean 4 語句。Rediscovery-110 子集收錄了 110 個在 2026 年仍開放但現已找到解題方案的問題，其中 85 個擁有獨立檢查的 Lean 證明或精確證書。Open-90 子集則包含 90 個目前仍開放的問題。高品質子集 HQ-50 從中篩選出 50 個問題，包含 40 個已解決和 10 個開放問題，用於標準化預算下的模型評估。

評估協議與實驗結果

研究團隊在隔離沙盒中，以閉卷、凍結檢索和即時網頁三種條件，對七個大型語言模型代理進行了評估。評級標準要求由兩個獨立檢查器接受的形式化證明。在閉卷條件下，模型僅解決了 40 個已解決問題中的 0 至 7 個，且多數為人類解決且構造簡短的問題。即時網頁條件下的成功主要反映了已發表解題方案的檢索能力，而非真正的科學重發現。

模型表現與侷限性

實驗顯示，閉卷重發現極為罕見。在即時網頁條件下，模型解決問題的能力主要取決於檢索已發表的解決方案，例如 Erdős Problem #152 在 14 次運行中僅在獲取問題頁面或論壇線程後被解決。此外，模型傾向於在遇到困難問題時提前放棄，未達到時間預算即停止，這凸顯需要更先進的框架設計來引導模型進行更深層、更長時間的探索。