OpenAI 停止評估 SWE-bench Verified 基準測試

Why we no longer evaluate SWE-bench Verified

每天早上一封信，5 分鐘看完 AI 重點。5min AI 是繁體中文的每日 AI 新聞整理，免費、可隨時取消。

OpenAI Blog2026-02-23

摘要

OpenAI 發表分析指出 SWE-bench Verified 基準測試存在數據洩漏和測試缺陷問題，導致對前沿編程模型進度的評估不準確。OpenAI 建議轉向使用 SWE-bench Pro 作為更可靠的評測標準，以確保編程 AI 模型的真實性能評估。

●開發者：需要採用 SWE-bench Pro 等更嚴格的基準來驗證編程模型品質

●投資人：編程 AI 的真實進度評估存在偏差，需重新審視相關投資判斷

●一般用戶：編程助手實際能力可能被高估，後續版本需更嚴格把關

重要性評分

78/100

🟠 值得關注

SWE-bench基準測試編程模型評估

每天早晨收到值得看的 AI 重點。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。

相關指南

google map gemini 怎麼用？導航時說「Ok Google」就能用中文找店、查抵達時間、回報路況。本文依 Google 官方說明整理開啟步驟、繁中指令範例與台灣可用情況。

深入解析 Claude Code Artifacts 是什麼，掌握其即時預覽與互動功能。本文提供完整的 Claude artifacts 教學，並分析 claude code 新功能對開發者介面的影響。

2026 年 Canva AI vs Photoshop AI 功能比較。深入分析 Canva AI 功能與 Photoshop AI 生成能力，協助您選擇最適合的 AI 設計工具推薦方案。

本文摘要由 AI 自動生成，內容源自原始報導。如有疑慮，請參閱關於我們。