研究突破
OpenAI 停止評估 SWE-bench Verified,推薦改用 SWE-bench Pro
Why we no longer evaluate SWE-bench Verified
OpenAI Blog · 2026-02-23
摘要
OpenAI 宣布不再使用 SWE-bench Verified 評估軟體工程能力,指出該基準存在數據污染和訓練洩漏問題,導致對模型編程進度的測量不準確。OpenAI 建議業界改用 SWE-bench Pro 作為更可靠的評估工具。
●開發者:需要了解新的編程能力評估標準,調整模型驗證方式
●投資人:應重新評估 AI 編程工具公司的效能聲稱,關注基準測試的可信度
●一般用戶:未來 AI 編程助手的性能評估將更準確,體驗品質有望提升
重要性評分
78/100
🟠 值得關注
SWE-bench基準測試編程評估模型驗證
原文出處喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。
相關指南

notebooklm deep research 怎麼用
NotebookLM Deep Research 怎麼用:Google AI 研究助手實戰指南
探索 NotebookLM Deep Research 怎麼用?本指南提供完整的 Google AI 研究工具實戰教學,涵蓋功能設定、操作步驟與實戰案例,助您快速掌握 AI 研究技巧。
閱讀指南 →
gpt deep research 怎麼用
GPT Deep Research 怎麼用:2026 進階搜尋與報告生成教學
探索 GPT Deep Research 怎麼用?本 2026 進階教學涵蓋 ChatGPT 深度搜尋功能設定、實作步驟與 AI 研究報告生成技巧,助您掌握高效資訊整合能力。
閱讀指南 →
claude code vs github copilot
Claude Code 與 GitHub Copilot 深度比較:2026 開發效率實測
深入解析 2026 年 claude code vs github copilot 的實戰表現。涵蓋 claude code 效能分析、github copilot 2026 更新亮點,以及 AI 編碼工具比較,助您選擇最佳開發效率方案。
閱讀指南 →🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。