PrismML把90亿参数模型权重压到2GB：iPhone本地每秒生成34个Token

动察 Beating AI 快讯，美国 AI 公司 PrismML 为 Bonsai 2 家族新增 2B、4B、9B 三款模型，全部基于阿里 Qwen3.5。团队把语言模型的主要权重限制为 -1、0、+1 三种取值，使模型文件分别缩至 0.43GB、0.95GB 和 2GB，体积约为原版 16 位权重的九分之一。新模型仍支持推理、图像理解和工具调用，主要面向手机、个人电脑等设备上的本地 Agent。 PrismML 称，在 iPhone 18 Pro Max 上，9B 模型每秒最多生成 34 个 Token，2B 则达到 120 个。 在官方测试中，9B 的编程和指令遵循能力几乎追平同规模的原版 Qwen3.5，但复杂任务差距明显。测试多轮对话和工具操作的 Tau2Bench 中，Bonsai 2 9B 得分为 73.02，原版达到 85.25；复杂文档解析得分则为 73.8，原版达到 88.73。 三款模型已按 Apache 2.0 协议开放权重。

📰 来源：https://www.okx.com/zh-hans/feed/post/90192084390080