AI开始挑战真实工程设计:GPT-6 Astra通过率37%,5款模型挂零
动察 Beating AI 快讯,AI 初创公司 Xplore 发布 RWE-Bench,测试大模型解决真实工程问题的能力。
11 款模型挑战 20 项机械、电气和航空航天任务,GPT-6 Astra 以 37% 的单次平均通过率排名第一,Claude Opus 5.5 为 29%,GPT-6.1 Sol 为 25%。另有 5 款模型全部失败,包括 DeepSeek V4.1 Flash、GLM-5.3 和 Grok 4.7。
任务涵盖发动机曲轴设计、电路板布线和涡轮叶片散热仿真。设计曲轴要兼顾尺寸、重量、强度和疲劳寿命;给一块已经安装近 300 个元件的八层电路板布线,需要连接 71 条信号线,同时控制时序误差和阻抗;模拟涡轮叶片散热,还得正确计算高温气流与叶片之间的热量传递。
每款模型使用各自配套的 Agent 工具链,直接操作专业工程软件。每道题最多运行 24 小时,独立尝试 5 次。提交的设计由工程软件和物理求解器自动验证,任何一项硬性要求不达标都算失败。全部 1100 次测试中,有 4 道题始终无人攻克。不过,允许每题尝试 5 次后,Claude Opus 5.5 的任务通过率升至 70%,反超 Astra 的 60%。
Xplore 希望把这类工程任务进一步变成强化学习训练环境,让 AI 通过反复设计、仿真和纠错提高工程能力。
💬 引用锚点
AI在真实工程设计任务上仍有明显局限,5款主流模型在综合测试中全部失败。
多次迭代尝试可显著提升AI工程任务通过率,Claude Opus 5.5从29%升至70%。
将复杂工程任务转化为强化学习环境,是推动AI工程设计能力提升的重要方向。
常见问题
什么是RWE-Bench?▼
GPT-6 Astra在测试中的表现如何?▼
Claude Opus 5.5的成绩如何?▼
有哪些模型未能通过测试?▼
这项测试对AI发展有何意义?▼
订阅最新文章
输入邮箱,第一时间获取最新动态。
💬 评论 (0)
发表评论