研究突破
OpenAI 宣布停止評估 SWE-bench Verified,轉向 SWE-bench Pro
Why we no longer evaluate SWE-bench Verified

OpenAI Blog · 2026-02-23
摘要
OpenAI 發表分析指出 SWE-bench Verified 基準測試存在數據污染和訓練數據洩漏問題,導致無法準確衡量前沿編程能力進展。OpenAI 建議業界轉向採用 SWE-bench Pro 作為更可靠的軟體工程 AI 評估標準。
●開發者:需要根據新的評估基準重新驗證代碼生成工具的真實能力
●投資人:AI 軟體工程領域的進展評估標準發生變化,需重新審視相關公司的技術實力聲稱
●一般用戶:軟體開發 AI 助手的實際能力評估將更加準確可信
重要性評分
76/100
🟠 值得關注
SWE-bench代碼生成基準測試
原文出處喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。
相關指南

DALL-E 3 教學
DALL-E 3 教學:ChatGPT 內建圖片生成完整指南
深入解析 DALL-E 3 教學,掌握如何在 ChatGPT 內生成高品質圖片。從基礎操作到進階技巧,一文搞定 DALL-E 3 怎麼用,讓 AI 創意無限延伸。
閱讀指南 →
Windsurf AI 教學
Windsurf AI 教學:Codeium 最強 IDE 完整使用指南
深入解析 Windsurf AI 教學,掌握 Codeium 最強 IDE 的完整使用指南。從安裝設定到進階技巧,教你如何用 Windsurf 提升編碼效率,解決開發痛點。
閱讀指南 →
Anthropic Claude 生態
Anthropic Claude 生態系全景圖:從 API 到 Agent SDK 完整路線圖
深入解析 Anthropic Claude 生態系,涵蓋 Claude API 使用指南、Anthropic 產品線佈局及 AI 開發者資源,助您掌握從基礎整合到 Agent SDK 開發的完整路線圖。
閱讀指南 →🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。