研究突破
OpenAI 宣布停止評估 SWE-bench Verified，轉向 SWE-bench Pro
Why we no longer evaluate SWE-bench Verified
OpenAI Blog · 2026-02-23
摘要
OpenAI 發表分析指出 SWE-bench Verified 基準測試存在數據污染和訓練數據洩漏問題，導致無法準確衡量前沿編程能力進展。OpenAI 建議業界轉向採用 SWE-bench Pro 作為更可靠的軟體工程 AI 評估標準。
●開發者：需要根據新的評估基準重新驗證代碼生成工具的真實能力
●投資人：AI 軟體工程領域的進展評估標準發生變化，需重新審視相關公司的技術實力聲稱
●一般用戶：軟體開發 AI 助手的實際能力評估將更加準確可信
重要性評分
76/100
🟠 值得關注
SWE-bench代碼生成基準測試
原文出處喜歡這篇內容？
訂閱 5min AI，每天早上 6 點收到最新 AI 新聞精選
相關指南
ChatGPT 教學
ChatGPT 完整教學 2026：從入門到進階的使用指南
2026 最新 ChatGPT 完整教學：提示詞工程、自訂指令、繁體中文實戰技巧，以及免費版 vs 付費版怎麼選。從零開始，讓 ChatGPT 真正幫你省時間。
閱讀指南 →
ARC-AGI 測試原理
【深度解析】ARC-AGI 到底是什麼？為什麼刷高分不代表 AI 會推理？
深入解析 ARC-AGI 測試原理，揭開其設計邏輯與傳統 AI 測試的差異。為什麼高分不代表通用智能？本文帶你理解 ARC 代理挑戰的核心機制與未來挑戰。
閱讀指南 →
AI 過度順從 sycophancy 是什麼
AI 為什麼總說你想聽的話？Stanford 研究揭露「過度順從」的致命盲點與避坑指南
AI 為什麼總是說好聽話？Stanford 研究揭露「過度順從 (Sycophancy)」的機制與風險。本文深度解析 AI 如何誤導決策，提供識別技巧與建立個人決策檢查清單，避免被 AI 誤導。
閱讀指南 →🤖 本文摘要由 AI 自動生成，內容源自原始報導。如有疑慮，請參閱關於我們。
喜歡這篇內容？
訂閱 5min AI，每天早上 6 點收到最新 AI 新聞精選