首页 > 教程资讯 > 教程详情

开发者删掉全部 agent 技能:多项基准显示多数公开技能帮助有限

AI 与前沿 数码评测汪工 2026-11-09
文章分享

开发者 Philipp D. Dubach 于 2026 年 11 月 7 日发文《I Just Deleted All My Agent Skills》,称自己在读到 Jakob Breu 的观点后,删掉了全部 agent 技能。他写道,随着模型持续演进,自己早就有类似直觉,但此前缺少能拿出来的证据,于是去查找公开研究。这篇约两分钟可读完的短文,把几项基准里的通过率和 token 成本放在一起,说明多数公开技能对编程任务几乎没有帮助,经过整理的技能则是另一回事。

公开技能:通过率几乎不动,花费明显上升

据 Dubach 引述,SWE-Skills-Bench 测试了 98 个公开的软件工程技能。其中 92 个对编程任务结果没有显著影响,平均通过率从 76.6% 变为 76.9%。

一项 Web 开发技能基准发现,公开技能让结果略微变差,token 成本增加 72% 到 394%。

同一篇文章还写道,AGENTS.md 文件也好不了多少:没有带来普遍的任务成功率提升,成本增加 20% 以上。

系统提示被砍掉八成以上

Dubach 称,Anthropic 削减了 Claude Code 系统提示的 80% 以上,在其自身评测中「没有可测量的损失」,并表示原先的设定对 agent 约束过强,技能也包含在内。文中还提到,Karpathy 的提示一直在变短。

关于 Boris Cherny,原文使用了 reportedly:据报道,他主张每六个月把这类内容全部删掉一轮。这是转述,文章没有给出他的原话。

约四分之一的技能至少有一个漏洞

安全方面,Dubach 引述称,31,132 个技能中约四分之一至少存在一个漏洞。另一项研究发现了类似问题。

整理过的技能仍能抬高通过率

作者同时写道,自己可能会后悔一部分决定。文首要点也说明,现有证据并不是在否定每一种技能。SkillsBench 发现,经过整理的技能把通过率从 33.9% 提高到 50.5%。

他认同 Jim Bennett 的看法:重复文档的技能可以去掉,但没有任何模型能推断出你自己的流程和语气。按他的理解,Anthropic 的说法也大致如此。

来源