研究突破
OpenAI 停止評估 SWE-bench Verified,推薦改用 SWE-bench Pro
Why we no longer evaluate SWE-bench Verified
每天早上一封信,5 分鐘看完 AI 重點。5min AI 是繁體中文的每日 AI 新聞整理,免費、可隨時取消。
OpenAI Blog2026-02-23
摘要
OpenAI 宣布不再使用 SWE-bench Verified 評估軟體工程能力,指出該基準存在數據污染和訓練洩漏問題,導致對模型編程進度的測量不準確。OpenAI 建議業界改用 SWE-bench Pro 作為更可靠的評估工具。
●開發者:需要了解新的編程能力評估標準,調整模型驗證方式
●投資人:應重新評估 AI 編程工具公司的效能聲稱,關注基準測試的可信度
●一般用戶:未來 AI 編程助手的性能評估將更準確,體驗品質有望提升
重要性評分
78/100
🟠 值得關注
SWE-bench基準測試編程評估模型驗證
原文出處每天早晨收到值得看的 AI 重點。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。
相關指南

google map gemini 怎麼用
Google Map Gemini 怎麼用?導航時用說的查即時資訊(台灣可用)
google map gemini 怎麼用?導航時說「Ok Google」就能用中文找店、查抵達時間、回報路況。本文依 Google 官方說明整理開啟步驟、繁中指令範例與台灣可用情況。
閱讀指南
claude code artifacts 是什麼
Claude Code Artifacts 是什麼:即時預覽與互動功能解析
深入解析 Claude Code Artifacts 是什麼,掌握其即時預覽與互動功能。本文提供完整的 Claude artifacts 教學,並分析 claude code 新功能對開發者介面的影響。
閱讀指南
canva ai vs photoshop ai
Canva AI vs Photoshop AI:2026 年設計工具怎麼選
2026 年 Canva AI vs Photoshop AI 功能比較。深入分析 Canva AI 功能與 Photoshop AI 生成能力,協助您選擇最適合的 AI 設計工具推薦方案。
閱讀指南本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。