研究突破
OpenAI 停止評估 SWE-bench Verified 基準測試
Why we no longer evaluate SWE-bench Verified
OpenAI Blog · 2026-02-23
摘要
OpenAI 發表分析指出 SWE-bench Verified 基準測試存在數據洩漏和測試缺陷問題，導致對前沿編程模型進度的評估不準確。OpenAI 建議轉向使用 SWE-bench Pro 作為更可靠的評測標準，以確保編程 AI 模型的真實性能評估。
●開發者：需要採用 SWE-bench Pro 等更嚴格的基準來驗證編程模型品質
●投資人：編程 AI 的真實進度評估存在偏差，需重新審視相關投資判斷
●一般用戶：編程助手實際能力可能被高估，後續版本需更嚴格把關
重要性評分
78/100
🟠 值得關注
SWE-bench基準測試編程模型評估
原文出處喜歡這篇？每天早晨還有更多。
訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。
相關指南
DALL-E 3 教學
DALL-E 3 教學：ChatGPT 內建圖片生成完整指南
深入解析 DALL-E 3 教學，掌握如何在 ChatGPT 內生成高品質圖片。從基礎操作到進階技巧，一文搞定 DALL-E 3 怎麼用，讓 AI 創意無限延伸。
閱讀指南 →
Windsurf AI 教學
Windsurf AI 教學：Codeium 最強 IDE 完整使用指南
深入解析 Windsurf AI 教學，掌握 Codeium 最強 IDE 的完整使用指南。從安裝設定到進階技巧，教你如何用 Windsurf 提升編碼效率，解決開發痛點。
閱讀指南 →
Anthropic Claude 生態
Anthropic Claude 生態系全景圖：從 API 到 Agent SDK 完整路線圖
深入解析 Anthropic Claude 生態系，涵蓋 Claude API 使用指南、Anthropic 產品線佈局及 AI 開發者資源，助您掌握從基礎整合到 Agent SDK 開發的完整路線圖。
閱讀指南 →🤖 本文摘要由 AI 自動生成，內容源自原始報導。如有疑慮，請參閱關於我們。
喜歡這篇？每天早晨還有更多。
訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。