精品工具

最新文章

OpenAI炮轰AI评测"标杆": 731 道题近三成有缺陷, 8 个月通过率从23%飙到80%已失灵
2026-07-10

OpenAI炮轰AI评测"标杆": 731 道题近三成有缺陷, 8 个月通过率从23%飙到80%已失灵

OpenAI公开质疑SWE-Bench Pro基准,指出其731个测试任务中约30%存在评测缺陷。该基准由Scale AI推出,是衡量大模型编程能力的行业权威。但OpenAI警示,前沿模型通过率8个月内从23.3%飙升至80.3%,进步速度异常,暗示评测可靠性存疑。

最新专题