据 Hugging Face Transformers 代码仓库中的一则 issue,百度已于 2026 年 11 月 5 日发布 ERNIE-5.5-Flash-Base。这是一个纯文本的稀疏 MoE(混合专家)基础检查点,总参数 280B,激活参数 14B。issue 的提交者指出,这个模型目前还不能在 Transformers 中加载,基于 Transformers 的 PEFT、TRL 等微调工具也就用不了。他打算自己动手补上支持。
据 issue 引述的模型卡和 config.json,该模型在 Hub 上提供 BF16 和 FP8 两种格式,许可为 ERNIE 5.5 Flash Base Model License Agreement v1.0。词表大小为 201,216,训练上下文为 128K,发布的配置通过 YaRN 启用 1M 上下文。
模型共 43 层,由 1 层稠密 FFN 和 42 层 MoE 组成。
mtp_shared_last_layer),额外增加 0.36B 参数,权重存放在 model.layers.43.*。issue 称,该模型的 config.json 声明 model_type 为 ernie5_5_moe,但没有 auto_map,仓库里也不带建模代码。提交者在 Transformers 5.23.0 下用 AutoConfig 加载时报错,提示无法识别这一架构。
按 issue 的说法,模型目前可以在 vLLM(通过百度的插件)和 SGLang 上运行,也可以在 Megatron-Bridge 上训练。不过 Megatron-Bridge 上唯一已合并的方案需要 64 块 GB300。
issue 提交者表示愿意承担这项工作,计划以 Transformers 中已有的 deepseek_v4 和 deepseek_v32 实现为基础,编写 modular 实现。他还在 issue 中询问,Hugging Face 或百度是否已有人在做这件事;若有,他愿意配合或协助。
他列出的步骤依次为:先写 modular 实现,再用小型随机配置测试,接着在截断的真实检查点上,与 vLLM-ERNIE、SGLang 的隐藏状态和 logits 做数值对齐,最后做完整模型的检验。
以上信息均来自该 issue,其中架构、词表大小及上下文配置描述引自模型卡和 config.json,贡献计划由提交者本人提出。