WebsiteBench 发布：让 AI agent 只靠浏览器探索重建整站，最好成绩仅通过 26.2% 的隐藏测试

TIGER-AI-Lab 发布了基准测试 WebsiteBench，考察 AI agent 能否只通过浏览器探索一个参考网站，在看不到源码的情况下重建整站。据项目页面公布的排行榜，成绩最好的 Claude Opus 5.5 只通过了 26.2% 的隐藏测试，平均每个任务用了 2,235 个 agent 轮次。

任务怎么设定

项目页面介绍，WebsiteBench 包含 70 个由专家搭建的网站、46,916 个隐藏测试，评测了 9 个模型，每次运行最长 16 小时。每个任务从一个本地网站出发，该网站由专家搭建，用来复现某个常用服务的部分功能。

agent 只能通过浏览器访问它：可以导航、点击、输入和截图，但读不到 HTML、脚本或服务端代码。它要在限时内写出一个外观和行为都一致的全栈网站，其间可以随时回到参考站对照。隐藏测试检查视觉外观、完整的用户工作流和持久化状态，agent 看不到这些测试。真实任务平均每个约有 670 个隐藏测试。

排行榜

排行榜按隐藏测试通过率排名，按测试数合并计算，即通过的测试占模型已完成任务中全部隐藏测试的比例。没有结果的任务不计入，部分模型未覆盖全部 70 个任务。

• Claude Opus 5.5:26.2%
• GPT 6.1 Sol：20.2%
• Claude Opus 5:17.1%
• GLM 5.3 Flash：14.7%
• DeepSeek V4.1 Flash：13.5%
• Grok 4.6:12.1%
• Kimi K3:10.6%
• GPT 5.6 Luna：10.3%
• Qwen 3.8 Max：7.3%

隐藏测试怎么打分

测试分为三组：

1. Request：直接检查页面响应和原生表单提交的 HTTP 请求。
2. Browser：检查界面响应和状态变化，分 L1 到 L3 三级，L3 涉及持久化、其他用户和恢复；部分测试还会把标记区域的截图与参考站做视觉对比。
3. System：检查离线构建、重启、进程健康与安全。

每个测试权重相同，没有部分得分。只有功能检查全部通过、且每个视觉检查点都达到相似度阈值，才能得一分。浏览器工作流测试要分别用 Playwright 和 Browser Use 两个独立执行器各跑一遍，两者都通过才算过。视觉相似度用 SSIM 衡量，基准是纯色图，因此大片空白区域的权重较低。直接复制参考站的提交得 0 分。

作者归纳的三类失败

作者追踪了 Grok 4.6 的运行过程，归纳出三类问题：

1. 探索不足：agent 在第一次改代码时，几乎访问了所有核心页面，也开始了几乎所有核心工作流，但很少走到最后一步，因此看不到结账确认页之类的最终结果。
2. 观察到的行为没有落到代码里：作者核对 agent 探索时观察到、且能从轨迹和代码中验证的行为，几乎没有一项按看到的样子实现。例如 AMC Theatres 任务里，点击标签页有效，但服务端忽略了 tab 查询参数；PetSmart 任务里，鱼、鸟、小宠三张卡片都显示了狗的图片。
3. 过早停止：多数运行远未到 16 小时上限就结束了。

两项补充实验

针对过早停止，作者在 Lowe's 任务上给 Kimi K3 启用了 Claude Code 的 /goal 钩子，使每次想停止都必须经过一次审查。运行时长从 1.0 小时增至 10.9 小时，步数从 130 增至 879，tokens 从 10.6M 增至 87.9M，得分从 0% 升至 31.3%。

针对探索不足，作者给 agent 提供了人类探索轨迹，内容只有浏览器动作日志，不含页面内容。得分因此提高，增益最大的是 agent 单独探索时一个隐藏测试都没通过的网站。

来源

• https://websitebench.github.io/