时隔16个月,百度再次亮出大模型家底:2800亿参数文心5.5 Flash开源
动察 Beating AI 快讯,百度开源文心 ERNIE-5.5-Flash-Base 模型权重。继 2025 年 6 月文心 4.5 系列之后,百度时隔约 16 个月,再次开源千亿参数级大模型。中间发布的文心 5.0 和 5.1 均未开源。
文心 5.5 Flash 主打推理效率,总参数 2800 亿,每生成一个 Token 仅激活 140 亿参数。模型使用 33.5 万亿 Token 从零预训练,支持最高 100 万 Token 推理上下文。
百度还重新设计了长文本处理机制。43 层网络中,37 层将每 128 个历史 Token 压缩成一条缓存记录,另外 6 层保留对原始内容的精细检索能力,以降低长文本处理的显存和计算开销。
官方将其与 DeepSeek-V4-Flash-Base、腾讯 Hy3-preview-Base、小米 MiMo-V2.5-Base 进行统一评测,30 项基准测试中有 24 项排名第一。
本次开放的是未经中训练和后训练的纯文本 Base 模型,主要供开发者继续进行领域微调、指令训练和强化学习。百度表示,经过后训练的文心 5.5 Flash 将随后推出。
许可证比上一代更严格。文心 4.5 采用 Apache 2.0 协议,5.5 Flash 改用自定义许可证,不授权在欧盟、英国和韩国使用。相关产品或服务过去连续 12 个月营收超过 5000 万美元,商用前必须另行获得百度书面授权。
💬 引用锚点
百度时隔16个月再次开源千亿参数大模型,文心5.5 Flash采用2800亿总参数但每Token仅激活140亿,主打高效推理。
模型重新设计长文本处理机制,通过混合压缩与精细检索策略,在支持100万Token上下文的同时降低显存开销。
百度对开源许可证收紧,限制欧盟等区域使用并设置商用营收门槛,反映国产大模型开源策略趋向商业化管控。
订阅最新文章
输入邮箱,第一时间获取最新动态。
💬 评论 (0)
发表评论