ARC竞赛第一团队现身：Mostik给大小模型搭桥，省掉大模型生成成本
2026-09-03
45 次阅读
RSS订阅
- Mostik团队凭借7.51%的成绩登顶ARC-AGI-3 Kaggle排行榜。
- 该公司通过训练桥接器翻译模型间隐藏状态，实现大小模型交换内部表示而无需微调。
- 演示中桥接器将753B GLM-5.2与4B Qwen3.5连接，性能差距减半且计算量仅为等效单模型的40%。
- 部分性能仍低于单独的753B大模型，且由于云模型无法访问隐藏状态，相关方法不适用于此类模型。
- 工程界对冻结大模型以训练桥接器的高昂成本及排行榜工具未公开表示质疑。
主要结论：新兴的AI初创公司Mostik通过训练一个桥接器来翻译模型之间的隐藏状态，从而使它们交换内部表示而无需微调，凭借7.51%的成绩登顶ARC-AGI-3 Kaggle。他们演示了一个将753B GLM-5.2桥接到4B Qwen3.5的桥接器，该桥接器将性能差距减半，并且使用的计算量约为等效中等单模型的40%，尽管性能仍低于单独的753B模型。排行榜提交的详细信息和工具未公开；由于隐藏状态无法访问，像Claude/GPT这样的云模型无法使用，一些工程师质疑冻结模型以训练桥接器的工程成本。
📰 来源：https://www.okx.com/zh-hans/feed/post/86377593940160
💬 引用锚点
Mostik通过训练桥接器翻译模型间的隐藏状态，使大小模型无需微调即可交换内部表示，以此登顶ARC竞赛。
该桥接器将753B与4B模型的性能差距减半，且计算量仅为等效单模型的40%，显著降低大模型生成成本。
由于云模型无法访问隐藏状态，该方法面临工程挑战，如冻结模型训练成本高及排行榜工具未公开。
💡 一句话定义：
Mostik训练桥接器翻译大小模型隐藏状态，以ARC竞赛成绩证明可大幅降低大模型生成成本。
📈 核心数据：
- Mostik凭借7.51%成绩登顶ARC-AGI-3 Kaggle
- 桥接器将753B GLM-5.2与4B Qwen3.5连接，性能差距减半
- 计算量约为等效中等单模型的40%
🧭 快速步骤：
- 训练桥接器翻译模型间的隐藏状态
- 交换内部表示而无需对大模型微调
- 利用小模型承接任务以降低生成成本
常见问题
Mostik公司如何在ARC竞赛中登顶？▼
Mostik通过训练一个桥接器来翻译模型之间的隐藏状态，使它们能够交换内部表示而无需微调，从而以7.51%的成绩登顶ARC-AGI-3 Kaggle。
该技术方案的效果如何？▼
他们演示了一个将753B GLM-5.2桥接到4B Qwen3.5的桥接器，将性能差距减半，计算量约为等效中等单模型的40%，尽管性能仍低于单独的753B模型。
为什么云模型无法参与此类技术？▼
由于隐藏状态无法访问，像Claude或GPT这样的云模型无法使用这种桥接器技术。
工程师们对该方案有何质疑？▼
部分工程师质疑冻结模型以训练桥接器的工程成本。
💬 评论 (0)
发表评论