首页 > 教程资讯 > 教程详情

百度发布 ERNIE-5.5-Flash-Base:2800 亿总参数、激活 140 亿,Transformers 暂时还不能加载

AI 与前沿 极客小林 2026-11-16
文章分享

据 Hugging Face Transformers 代码仓库中的一则 issue,百度已于 2026 年 11 月 5 日发布 ERNIE-5.5-Flash-Base。这是一个纯文本的稀疏 MoE(混合专家)基础检查点,总参数 280B,激活参数 14B。issue 的提交者指出,这个模型目前还不能在 Transformers 中加载,基于 Transformers 的 PEFT、TRL 等微调工具也就用不了。他打算自己动手补上支持。

模型规格

据 issue 引述的模型卡和 config.json,该模型在 Hub 上提供 BF16 和 FP8 两种格式,许可为 ERNIE 5.5 Flash Base Model License Agreement v1.0。词表大小为 201,216,训练上下文为 128K,发布的配置通过 YaRN 启用 1M 上下文。

架构要点

模型共 43 层,由 1 层稠密 FFN 和 42 层 MoE 组成。

  • 注意力:采用按层类型混合的设计。其中 37 层是高度压缩注意力(HCA),每 128 个 token 只缓存一条 KV;另外 6 层是带 DSA 稀疏注意力的 MLA。
  • MoE:有 512 个路由专家(top-10)和 1 个共享专家,由多个独立的 sigmoid 路由器共同打分。
  • ECHO:不单独设 MTP 模块,而是复用最后一层主干做多 token 预测(mtp_shared_last_layer),额外增加 0.36B 参数,权重存放在 model.layers.43.*。

为什么现在还不能用 Transformers 加载

issue 称,该模型的 config.json 声明 model_type 为 ernie5_5_moe,但没有 auto_map,仓库里也不带建模代码。提交者在 Transformers 5.23.0 下用 AutoConfig 加载时报错,提示无法识别这一架构。

按 issue 的说法,模型目前可以在 vLLM(通过百度的插件)和 SGLang 上运行,也可以在 Megatron-Bridge 上训练。不过 Megatron-Bridge 上唯一已合并的方案需要 64 块 GB300。

提交者的计划

issue 提交者表示愿意承担这项工作,计划以 Transformers 中已有的 deepseek_v4 和 deepseek_v32 实现为基础,编写 modular 实现。他还在 issue 中询问,Hugging Face 或百度是否已有人在做这件事;若有,他愿意配合或协助。

他列出的步骤依次为:先写 modular 实现,再用小型随机配置测试,接着在截断的真实检查点上,与 vLLM-ERNIE、SGLang 的隐藏状态和 logits 做数值对齐,最后做完整模型的检验。

以上信息均来自该 issue,其中架构、词表大小及上下文配置描述引自模型卡和 config.json,贡献计划由提交者本人提出。

来源