知名互联网论坛 Reddit 日前透露该公司发现人工智能公司通过互联网档案馆 (Internet Archive) 的网站时光机 (Wayback Machine) 抓取来自 Reddit 的数据，这种行为已经违反 Reddit 使用条款。

Reddit 此前已经阻止大多数搜索引擎爬虫和人工智能爬虫抓取数据，如果要抓取数据用于人工智能模型训练的话，则需要与 Reddit 签署商业许可证并支付费用后才能抓取。

例如Google就每年向 Reddit 论坛支付高达 6000 万美元以获得数据访问权，Google可以通过抓取 Reddit 海量帖子和其他数据用于模型训练，对Google来说这仍然是个值得的交易。

而互联网档案馆长期以来与 Reddit 合作索引帖子并将其快照到网站时光机中以便可以在未来查看，不想支付费用的人工智能公司开始将爬虫转向互联网档案馆，通过互联网档案馆作为抓取 Reddit 的媒介。

发现这种情况后 Reddit 决定立即开始阻止互联网档案馆对于大多数页面的抓取和索引，网站时光机功能无法再抓取帖子详情页面、评论和个人资料，相反网站时光机只能有限的抓取 Reddit 首页或者热门帖子导航，也就是只能抓取标题之类的内容。

Reddit 首席执行官称从今天开始阻止互联网档案馆的数据抓取，同时已经提前联系互联网档案馆并在限制生效前告知他们。互联网档案馆称目前正在积极与 Reddit 就此事进行沟通。

此前 Reddit 还起诉 Claude 开发商 Anthropic，Reddit 指控 Anthropic 未经授权抓取内容，即便 Reddit 声明阻止其爬虫抓取数据，Anthropic 也依然还会继续抓取内容并违反 Reddit 使用条款。