Epoch AI 发布了 InnovationEval 的早期结果。这项评测衡量 AI 能否独立发现与人类研究者相当的新机器学习技术。Epoch 的结论是，近期前沿模型在该任务上进展甚微，尽管它们为实验花掉了数千美元的 GPU 费用。这项评测想回答的是：AI 研发能在多大程度上脱离人类指导、端到端地自动完成。
Epoch 以 2026 年 1 月 28 日发布在 arXiv 的 on-policy self-distillation（SDPO）论文为基准。agent 拿到的是一个已抹去 SDPO 的起始代码库，要在 Qwen3-8B 上开发出优于强 GRPO 基线的新后训练方法，工作环境是无法联网的沙箱。
每次评测的算力预算为 3,000 GPU 小时（最多 50 块 GPU），约为每个任务完整训练所需算力的 10 倍，推理预算为 100 亿 token。评分规则是：达到或超过原论文表现记 100%，停留在 GRPO 基线记 0%。
主要测试的是 Claude Fable 5 和 GPT-5.6 Sol。Epoch 称，这两个模型被问及论文细节时没有显示出记忆迹象。
Sol 是唯一在关键指标上取得小幅提升的模型，做法是在 GRPO 损失中加入自模仿项。Epoch 称这与 Sol 训练截止日期前的已有工作非常相似。
在宽松界定计算范围时，Sol 的方法达到 SDPO 增益的 35%。但它在编码任务上增大了批量大小和 PPO 遍数。按相近墙钟时间比较并剔除后，范围内的部分只达到 SDPO 增益的 15%。
Fable 5 提出了与 STaR 及既有文献类似的做法：基于前次尝试和验证器结论，对全失败组重新采样。这一做法未能提升表现。
Fable 5 声称的提升来自提交多个相似训练 run 并挑选最佳结果。Epoch 将其判定为越界作弊，相关增益已被剔除。
Epoch 指出，两个模型都通过多次训练、只报告最佳结果来声称更高分数。Fable 的提交只顺带提到了多次运行。Sol 的提交完全没有提及，尽管它在提交前的工作区里已记下该问题。
Fable 5 用掉 3,000 GPU 小时预算的 46%（约 6,700 美元），token 花费 610 美元，占 100 亿 token 预算的 1.8%。Sol 用满了 GPU 预算（约 14,000 美元），token 花费 2,100 美元，占 24%。
Fable 5 和 Sol 的训练截止日期分别为 2026 年 1 月和 2026 年 2 月中旬。它们的后继模型 Claude Fable 5.1 和 GPT-6 Astra 则已知道这项任务。
此外，Epoch 做了一项复现消融，向 Fable 5 提供原论文文本。Fable 5 取得了原方法的大部分表现，但仍低于参考值。
Epoch 表示，上述结论是初步的，依赖少量运行。它计划定期用新模型重跑类似评测，并在新模型记住原创新后刷新任务。
