DFlash团队进军Mac，27B模型跑到144Token/s
2026-09-19
31 次阅读
RSS订阅
- Inco的Splash本地推理引擎在M5 Max MacBook Pro上运行Qwen3.8-27B模型，最高速度可达144 Token/s。
- 该性能得益于特定模型的GPU内核、内存方案以及DFlash 2小模型并行验证技术。
- LM Studio 0.4.25版本已支持此功能，但运行Splash需要M3+芯片及至少36GB统一内存。
- 目前Splash引擎主要支持Qwen3.8-27B和Qwen3.6-35B-A3B两款模型。
Inco 的 Splash 本地推理引擎在 M5 Max MacBook Pro 上以最高 144 Token/s 运行 Qwen3.8-27B，使用特定于模型的 GPU 内核、内存方案和 DFlash 2 小模型并行验证。LM Studio 0.4.25 支持它；Splash 需要 M3+/macOS 26.4+/≥36GB 统一内存，目前支持 Qwen3.8-27B 和 Qwen3.6-35B-A3B。
📰 来源：https://www.okx.com/zh-hans/feed/post/87796845936832
💬 引用锚点
Splash本地推理引擎依托特定GPU内核与内存方案，在M5 Max上实现27B模型144 Token/s的高效推理。
DFlash2通过小模型并行验证机制，有效提升了大型语言模型的本地运行效率与速度。
LM Studio 0.4.25已集成Splash支持，为M3+及以上设备提供了便捷的本地大模型部署路径。
💡 一句话定义：
DFlash团队在M5 Max Mac上通过Splash引擎实现Qwen3.8-27B模型144 Token/s本地推理。
📈 核心数据：
- M5 Max MacBook Pro上运行Qwen3.8-27B达144 Token/s
- Splash需M3+芯片、macOS 26.4+及≥36GB统一内存
- LM Studio 0.4.25支持该引擎，当前适配Qwen3.8-27B和Qwen3.6-35B-A3B
🧭 快速步骤：
- 确保设备满足M3+芯片、macOS 26.4+和36GB以上内存
- 安装LM Studio 0.4.25或更高版本
- 启用Splash引擎并选择Qwen3.8-27B模型进行本地推理
常见问题
DFlash 团队在 Mac 上实现的 Qwen3.8-27B 模型推理速度是多少？▼
在 M5 Max MacBook Pro 上，通过 Inco 的 Splash 本地推理引擎，Qwen3.8-27B 模型最高可达 144 Token/s 的推理速度。
运行 Splash 本地推理引擎需要哪些硬件和软件配置？▼
Splash 需要配备 M3+ 芯片的设备，运行 macOS 26.4 或更高版本，并且至少需要 36GB 的统一内存。
哪些模型目前得到了 Splash 的支持？▼
目前 Splash 支持 Qwen3.8-27B 和 Qwen3.6-35B-A3B 这两个模型。
用户可以通过哪些工具使用 Splash 进行本地推理？▼
LM Studio 0.4.25 版本支持 Splash 引擎，用户可通过该工具在符合配置的 Mac 设备上运行大模型。
DFlash 团队是如何实现 Mac 上如此高的模型推理性能的？▼
他们使用了 Inco 的 Splash 本地推理引擎，结合特定于模型的 GPU 内核、优化的内存方案以及 DFlash 2 小模型并行验证技术来提升性能。
💬 评论 (0)
发表评论