Nenya 发布方在 Hugging Face 上公开了混合专家（MoE）底座模型 Nenya-2.5B-A0.5B-Base，以 Apache 2.0 许可提供。模型卡称，它仅用 0.06 万亿 token 训练，在发布方的 12 项预训练测评中取得与 Qwen3.5 2B 接近的平均分；发布方同时宣称，其训练计算量约为后者的 1/500，每 token 的激活浮点运算量约为后者的 1/3.4。
据模型卡，Nenya 总参数为 25.9 亿，激活参数为 5.53 亿，其中路由专家参数为 15.9 亿，Engram 表参数为 5.28 亿。
模型共有 32 层，注意力层由 23 层 GDN-2 和 9 层 MLA 组成。专家配置为 120 个专家，每个 token 选择 6 个，另有 2 个共享专家；上下文长度为 16,384 token，词表大小为 100,278。
发布方使用 lm-evaluation-harness 0.4.13 进行测评，12 项任务涵盖 HellaSwag、ARC、WinoGrande、PIQA 等。模型卡给出的平均分为：Nenya 58.3，Qwen3.5 2B 58.1，Qwen3.5 0.8B 52.8；同表中的 OLMo-2 1B、Gemma 4 E2B 和 SmolLM3 3B 分别为 61.1、64.8 和 64.9。
按该表列出的训练量，Nenya 使用 0.06 万亿 token，Qwen3.5 2B 超过 10 万亿 token，OLMo-2 1B 为 4 万亿 token，SmolLM3 3B 为 11.2 万亿 token。
这些成绩来自发布方自测。模型卡说明，测评使用 4,096 token 窗口，仅根据对数似然评分，不生成文本；除 TriviaQA 使用 5 个示例外，其余为零样本测评。发布方称，训练数据已针对相关测评集去污染，并在仓库的 evaluation/lm_eval_tasks 目录提供 4 个自定义任务文件，供复现使用。
模型可通过 transformers 加载，也可通过 pip 安装 nenya 包。在搭载 Apple 芯片的 Mac 上，发布方提供 Metal 引擎，并称其在 M4 上约可达到每秒 125 个 token，首次使用会下载 3.5 GB 权重文件。针对 NVIDIA GPU，模型卡建议安装 flash-linear-attention，让 GDN-2 层使用相应的 Triton 内核。
模型卡明确指出，Nenya 是用于续写文本的底座模型，不遵循指令，可能产生错误、偏见或不安全内容。其训练数据以英文网页、教育、学术、代码和数学内容为主，超过 16,384 token 的质量尚未测试。
