千万Token上下文只是起点：Anthropic前员工想把整座 AI 实验室交给Agent

动察 Beating AI 快讯，Mirendil 发布了首款模型 Fern 0.1，支持高达 1000 万 Token 的上下文，一次可以容纳约 50 万行代码，或数天的 AI Agent 工作记录。但这家公司真正想做的，是让 AI 参与研发下一代 AI，逐步接手前沿 AI 实验室的工作。 Mirendil 今年 6 月公开亮相，约 20 人的团队来自 Anthropic、Google DeepMind、OpenAI 和 xAI。联合创始人 Harsh Mehta 曾搭建 Anthropic 内部的自动化 AI 研究平台。公司成立之初便获得 a16z、Kleiner Perkins 领投的 2 亿美元种子轮，随后又与 Google Cloud 签下价值超过 1 亿美元的多年算力合作。 Mirendil 希望把大厂内部的自动化 AI 研发能力带给外部研究者，让 Agent 承担代码编写、实验运行、模型训练和故障排查。研究药物或新材料的团队，不必先组建一支顶尖 AI 团队，就有机会为自己的专业问题开发模型。 10 月 21 日，Mirendil 公布了一项实验。一名研究员带着 AI Agent，从空代码仓库起步，仅用 3 个半月就完成了 Mirendil-Base 的从零预训练。训练数据来自 GitHub 等公开代码、网页和数据集，没有使用模型蒸馏或合成数据。Agent 编写了超过 99% 的代码，还负责运行实验和排查故障。研究员主要决定研究方向、筛选实验结果。包括前期试错、数据处理和 Agent 调用在内，整个项目的计算开销不到 1000 万美元。 5 天后发布的 Fern 0.1，就建立在这款底座之上。它专门面向 AI 研发，利用超长上下文读取大型代码库、训练日志和 Agent 执行记录。过去，这些内容太长时往往需要先截断、摘要或检索，容易漏掉关键细节。Mirendil 想让模型直接读取更多原始记录，追查训练为什么失败，或回看 Agent 连续几天究竟做了什么。 不过，1000 万 Token 并不是首次出现。Google 早在 2024 年就测试过这一长度，Meta 去年发布的 Llama 4 Scout 也支持千万级上下文。后者实际只用 25.6 万 Token 长度进行预训练和后训练，再通过长度泛化扩展到 1000 万。 更长的窗口也不代表模型能理解其中所有信息。Mirendil 的测试显示，随着上下文增长到 1000 万 Token，底座模型的代码预测误差仍在下降。但在 RULER 测试中，从千万 Token 里寻找单条信息的准确率达到 100%，需要串联多处线索回答问题时，却只有 45%。而且该长度每项只测试了 20 道题。Fern 究竟如何处理如此长的输入、需要多少显存，以及完整输入的速度和成本，官方都还没有详细披露。 Mirendil 已经在训练两款更大的模型，其中最大一款规划达到 2 万亿至 10 万亿参数。公司还打算让自家模型参与下一代模型的开发，接手更多原本由人类研究员完成的工作。目前 Fern 0.1 尚未开放使用，只能申请早期访问。

📰 来源：https://www.okx.com/zh-hans/feed/post/91141944167616