EAGLE-4让Qwen生成速度提升3.6倍，手机CPU也能提速3倍
2026-10-21
1 次阅读
RSS订阅
- EAGLE-4升级投机解码技术，可根据硬件和并发动态调整预测大小。
- 在GPU上，Qwen3.8-27B单请求生成速度提升3.6倍，512并发下吞吐量提升34%。
- 在手机CPU上，Gemma长文本生成速度提升3.2倍，能耗降低53%。
- EAGLE-4代码已开源，支持SGLang、vLLM等框架，但采用限制性商业许可。
Eagle 发布了 EAGLE-4，升级了其投机解码技术，以减少草稿模型计算并根据硬件和并发调整预测大小。在 4 个 NVIDIA B300 GPU 上，Qwen3.8-27B 单请求速度从 240.5 提升至 863.8 令牌/秒，达到正常推理的 3.6 倍。在 512 个并发请求下，吞吐量提升了 34%，达到 28,300 令牌/秒。在 Motorola Razr 70 Ultra 上，Gemma-4-E2B-it CPU 长文本生成速度提升了 3.2 倍，时间从 43 秒降至 14 秒，每个令牌的能耗降低了 53%。代码已公开，支持 SGLang、vLLM、TokenSpeed，但采用限制性商业许可。
📰 来源：https://www.okx.com/zh-hans/feed/post/90637830418624
💬 引用锚点
EAGLE-4通过升级投机解码技术，显著减少草稿模型计算开销，实现推理速度的大幅提升。
该技术不仅在高并发电力GPU集群上提升吞吐量，更使手机CPU的长文本生成速度提升超3倍且能耗减半。
尽管性能突破显著，但配套代码目前采用限制性商业许可，这为技术的广泛开源普及设置了一定障碍。
💡 一句话定义：
EAGLE-4升级投机解码技术，显著提升Qwen等大模型在GPU和手机CPU上的生成速度。
📈 核心数据：
- Qwen3.8-27B在4个B300 GPU上速度从240.5提升至863.8令牌/秒，达正常推理3.6倍
- 512并发下吞吐量提升34%，达28,300令牌/秒
- Motorola Razr 70 Ultra上Gemma-4-E2B-it生成提速3.2倍，能耗降低53%
🧭 快速步骤：
- 部署EAGLE-4投机解码以优化草稿模型计算
- 根据硬件和并发情况动态调整预测大小
- 利用代码支持SGLang、vLLM等主流推理框架
常见问题
EAGLE-4相比前代有哪些核心升级？▼
EAGLE-4升级了投机解码技术，主要改进包括减少草稿模型的计算量，并能够根据硬件性能和并发请求数动态调整预测大小。
在服务器GPU上，EAGLE-4带来了怎样的性能提升？▼
在4个NVIDIA B300 GPU上，Qwen3.8-27B的单请求生成速度从240.5提升至863.8令牌/秒，达到正常推理的3.6倍；在512个并发请求下，吞吐量提升34%，达到28,300令牌/秒。
EAGLE-4在手机设备上表现如何？▼
在Motorola Razr 70 Ultra上，Gemma-4-E2B-it的CPU长文本生成速度提升了3.2倍，生成时间从43秒降至14秒，同时每个令牌的能耗降低了53%。
EAGLE-4的代码是否开源？支持哪些推理框架？▼
代码已公开，支持SGLang、vLLM和TokenSpeed等主流推理框架，但采用限制性商业许可。
💬 评论 (0)
发表评论