独立开发者Yetone的Alma杀进Agent前三,通过率和成本双双胜过Claude Code
动察 Beating AI 快讯,独立开发者 Yetone 主导开发的 Alma,在最新一轮 AI Agent 横评中,同时拿下任务通过率和成功成本第三名,把 Claude Code、OpenCode 等知名工具甩在了身后。
这次评测由 AI Agent 基础设施公司 Runta 发起。在当前的榜单快照中,Alma 的任务通过率为 72.7%,仅次于 Codex CLI 的 77.9% 和 Pi 的 72.8%。Claude Code 则为 70.0%。
Alma 不仅通过率更高,完成任务也更省钱。它每成功完成一道题平均花费约 0.80 美元,Claude Code 为 0.94 美元,成本低约 16%。
这次 FrontierHarness v1.1 专门研究一个问题:同样的大模型,换一套 Agent 执行框架,表现究竟能差多少?
评测覆盖 21 组 Harness 配置、5 款大模型和 62 项任务,每项重复 4 次,计划运行 26,040 次,规模达到上一版的 72 倍。所有工具都在统一的云端环境中运行,比较任务成功率、Token 成本和执行速度。
Alma 是一款主打本地运行、长期记忆的 AI Agent,能直接读取和修改代码、执行终端命令、搜索网页,还支持 Skills 和 MCP。它可以自由切换底层模型,不依赖某一家模型厂商。
最近,Alma 还整合了 Herdr。Claude Code、Codex、Pi 等编程 Agent 可以继续在 Herdr 中运行,Alma 则把它们集中到一个聊天界面,查看执行过程、回复问题和批准操作。用户甚至可以通过 iPhone 远程管理电脑上的多个 Agent。
目前评测尚未结束,排名仍会变化。参测模型也仅限 GLM、DeepSeek、Kimi、Muse 等开源模型,没有覆盖 GPT 和 Claude 系列闭源模型。
💬 引用锚点
Alma以72.7%的任务通过率和约0.80美元的平均成功成本,超越了Claude Code等同级别编程Agent的表现。
同样使用开源大模型时,Agent执行框架的设计会显著影响最终的执行成功率与Token消耗成本。
订阅最新文章
输入邮箱,第一时间获取最新动态。
💬 评论 (0)
发表评论