Recursive 推出面向本地硬件的编程智能体模型 Flint,采用混合专家(MoE)架构。据官方介绍,模型总参数为 400 亿,每个 token 激活 25 亿参数,权重已按 Apache 2.0 许可发布。此次发布同时展示了 Recursive 自动化 AI 研发系统 Eureka Machine 在模型开发中的应用:公司称,由人和智能体组成的小团队借助该系统,在不到四个月内从零构建了 Flint。
据 Recursive 发布方自测,Flint 在 SWE-Bench Pro v2、Terminal-Bench 2.1 和 SWE-Bench Verified 等编程智能体基准上,领先总参数低于 500 亿的 MoE 模型;其编程表现可与 250 亿至 400 亿参数的稠密模型相当,运行速度则超过这些模型的 5 倍。
在使用官方优化推理引擎、短上下文的条件下,Recursive 称,Flint 在 M4 Pro MacBook Pro 上的生成速度超过每秒 125 个 token,在 64 GB 的 NVIDIA RTX Spark 上超过每秒 150 个 token。官方称,其在 Apple Silicon 和 NVIDIA RTX Spark 上的速度最高可达同类模型的 2 倍。
Flint 支持最长 512k token 的上下文窗口,但官方建议控制在 256k token 以内,以获得最佳效果。Recursive 也提醒,Flint 可能比大型闭源编程模型需要更多指引,处理复杂任务时应拆成较小的子任务,并提供明确指令。
据 Recursive 介绍,Eureka Machine 参与了 Flint 从数据、训练方案到基础设施和推理优化的几乎每个环节。在架构搜索中,系统从总参数 350 亿、激活参数 30 亿的基线出发,探索不同专家配置和宽度,最终得到 Flint 的架构。
量化阶段,该系统将输出层 lm_head 量化至 4 位,并加入以 16 位模型为教师的离线自蒸馏阶段。Recursive 称,相比其量化感知训练基线,这一做法使训练步数几乎减半;最终 NVFP4 模型在各项基准上与 16 位版本的分数差距不超过 0.7 分。
系统还为 Apple Silicon 和 NVIDIA RTX Spark 生成了专用内核,并在 M4、M5 芯片上生成融合整个解码前向传播过程的 Metal megakernel。
Flint 权重已在 Hugging Face 上提供,可配合 llama.cpp、Ollama、Unsloth、LM Studio、vLLM 和 SGLang 使用。Recursive 同时发布了轻量推理引擎 rec,针对 Flint 在 M4 Pro 和 M5 Pro/Max 上的运行进行优化。