首页 > 教程资讯 > 教程详情

Thinking Machines Lab 发布 Inkling 2 Mini:中间层循环三遍,原生检查点约 20 GB

AI 与前沿 编辑部小鹿 2026-11-21
文章分享

据 GitHub 项目 PolyStrata 的 issue 汇总,Thinking Machines Lab 于 2026 年 11 月 20 日发布开放权重模型 Inkling 2 Mini,采用 Apache 2.0 许可。它通过重复使用中间层权重增加计算深度,同时提供原生多模态能力和 100 万 token 上下文窗口。约 20 GB 的原生检查点及多档量化版本,使本地部署成为此次发布的一项关注点。

24 层权重,每个 token 执行 48 次层计算

该 issue 引述模型卡称,Inkling 2 Mini 是一个采用稀疏混合专家(MoE)结构的 24 层 decoder-only Transformer。中间 12 层会使用共享权重运行三遍,因此每个 token 实际经历 48 次层计算。

总参数的披露存在差异:Unsloth 模型卡写的是 262 亿,基础模型卡则为 264 亿。每个文本 token 激活 34 亿权重,计入循环计算后的有效激活参数约为 54 亿;MoE 部分在每层的 128 个专家中路由至 8 个。

据该 issue 整理的架构信息,模型使用视觉 Transformer 将图像编码到与文本相同的隐藏空间。原生权重采用 NVFP4 与 MXFP8 混合精度,检查点约为 20 GB。

GGUF 最小版本为 7.76 GB

据 issue 列出的 Unsloth 发布信息,GGUF 量化版本从 7.76 GB 的 UD-IQ1_S 到 22.9 GB 的 UD-Q8_K_XL 不等,其中 UD-Q3_K_XL 为 13.6 GB,UD-Q4_K_M 为 16.6 GB。此外,还有两个 DSpark 草稿模型 GGUF:Q8_0 为 402 MB,BF16 为 648 MB。

该 issue 转述发布博客称,llama.cpp、transformers 和 MLX 均获支持,SGLang 则在首日提供支持。不过,模型卡也提醒,本地运行时对循环模型的支持仍很新,速度会随运行时和硬件而变化。

自测成绩需结合测试条件阅读

据 issue 转述的发布方对比表,Inkling 2 Mini 与 Qwen3.8-27B 在 AA Intelligence Index v5 上均为 20.1 分,前者所需计算量约为后者的 1/2.8。这项比较针对的是 Qwen3.8-27B。

发布方自测显示,Inkling 2 Mini 的 SWE-bench Verified 成绩为 79.2%,测试采用仅使用 bash 的方式及 mini-swe-agent v2.4.6。issue 作者指出,这一结果与 Qwen3.6-35B-A3B 公布的成绩使用了不同测试框架,不能直接比较。

11 月 20 日,Reddit 用户 u/ProxyLumina 在 r/singularity 发布自制表格,称该模型接近 Gemini 2.5 Pro。这属于网友整理和判断,并非官方结论。

来源