11 月 2 日,《纽约时报》起诉浏览器与搜索公司 Brave。据 Search Engine Journal 文章(作者 Slobodan Manic),诉状称 Brave 在未表明身份、也未向网站主提供拦截其爬虫机制的情况下,复制了超过 300 亿个网页,并将内容出售给人工智能公司。Brave 尚未答辩,这些目前仍是原告主张。此事值得关注,是因为 Brave 在帮助页自行说明:网站往往无法只挡住它的爬虫,同时继续对 Google 开放。
Search Engine Journal 写道,Brave 通过名为 Brave Search API 的产品,向 AI 公司出售其搜索索引的访问权。助手需要网上的近期信息时,不一定自己去读网页,也可以付费检索别人的索引。
Brave 官网 About 页称,该 API「被包括 Cohere、Mistral、Perplexity 和 You.com 在内的一些 AI 领域大公司使用」。其 AI 页称,索引「超过 300 亿页,每天新增数百万页」。
《纽约时报》起诉书开头点名五家它所说的 Brave 客户:Anthropic、Perplexity、Mistral、xAI 和 Cohere。这五家均未被起诉。
Claude 是否仍在使用 Brave,文章认为证据偏旧。起诉书提到 Brave 在 2023 年发布的博文,内容关于 Anthropic 训练 Claude 2。TechCrunch 报道,2025 年 3 月 Anthropic 把 Brave Search 加入其子处理方名单,即它使用的外部公司。同一周,写 AI 工具博客的开发者 Simon Willison 让 Claude 检索鹈鹕事实,Claude 引用的 10 条结果与在 Brave 上做同一检索完全一致。作者表示,无法确认 Claude 现在是否仍在使用 Brave。
网站通常用 robots.txt 决定哪些爬虫可以读取页面,而这依赖于爬虫有可识别的名称。OpenAI 与 Anthropic 都会公布自家爬虫名称,网站因此可以放行一家、拒绝另一家。
Brave 帮助页称,其爬虫「does not advertise a differentiated user agent」(不宣称有区分性的用户代理)。Brave 给出的理由是:有些网站只放行 Google、不放行其他爬虫,带上 Brave 名称的爬虫会被拒绝。Brave 称它改为遵循 Google 的规则:Googlebot 不能读取的,它也不读取。
文章据此说明:网站不能只让 Google 进入而把 Brave 挡在外面,两者要么都进,要么都不进。同一帮助页指出,退出 Brave 索引可以使用 noindex 标签,而该标签也会让 Google 移除相应页面。《纽约时报》把这种情况称为 Brave「拒绝公布其网络爬虫机器人的名称」。
Manic 称,11 月 3 日他在 Brave 搜索 site:nohacks.co,结果第一页显示其 16 个页面,其中 13 篇为文章。结果中还出现他当天早些时候已经换掉的首页描述,文章认为 Brave 提供的是存储副本,而不是对网站的实时查看。他的 robots.txt 列出 13 个 AI 机器人,从 GPTBot 到 Bytespider,并拦截其中两家——Meta 与字节跳动——的机器人,但没有一行可以写给 Brave。他写道,很难拦截一个并不存在的名称,并建议到 search.brave.com 输入 site: 加自己的域名,查看哪些页面进入了 Brave 出售的索引。
文章区分了两种安排。普通搜索是:有人搜索、看到页面、点击后进入网站。Brave Search 的常规结果也如此。Brave 另外提供名为 Ask Brave 的 AI 回答,《纽约时报》的诉讼也涉及这一功能。
出售索引则不同。起诉书引述 Brave 对其中一块产品「LLM Context」的描述:提供「extracted page chunks and source metadata in a shape and length that satisfies the needs of an LLM without need for further scraping」(抽出的页面片段和来源元数据,形态与长度足以满足大语言模型的需要,而无需再抓取)。AI 公司由此拿到已经切分的页面并据以作答;这个回答是否把人送回原网站,由该 AI 公司决定,既不是网站主能决定的,也不是 Brave 在出售的部分。
据该文,《纽约时报》主张版权侵权、绕过付费墙等;《每日新闻》《芝加哥论坛报》和《奥兰多哨兵报》同日另行起诉。作者写稿时,Brave 对这两案都尚未回应。更早的争执是:新闻集团(News Corp)发出停止侵权函后,Brave 先起诉,称自己只是在索引网页,而这是「所有搜索引擎运营商为了存在都必须做的事」。Semafor 报道,2026 年 7 月新闻集团反过来起诉 Brave,称其隐藏爬虫,使出版商无法检测或拦截。文章写道,法院针对《纽约时报》页面的裁决不会自动覆盖其他人的网站。