AI搜索引发流量大地震 Reddit与各大出版商考虑屏蔽Google爬虫

据《华尔街日报》报道，包括Reddit、美国《今日报》、路透社、《政客》杂志、《经济学人》以及派趣公司在内的多家知名企业，目前正在重新评估向Google开放多少访问权限。

其中，Reddit正考虑阻止Google将其庞大的用户发帖内容用于人工智能训练。双方目前正在就2024年签署的一项价值约60万美元（注：原文约为6000万美元）的许可协议续签事宜进行谈判。此前，该合作让Google获得了源源不断的人类对话数据来训练其AI模型，而Reddit则在首次公开募股（IPO）前夕获得了数千万美元资金。然而，当Google的AI产品利用这些收集来的数据直接回答用户问题、却不再将用户引流回Reddit时，这笔交易的吸引力便大打折扣。受此消息影响，投资者的担忧情绪迅速反映在股价上，Reddit在盘前交易中一度下跌达5.8%。

这种困境并非Reddit一家独有。美国《今日报》出版商甘尼特公司的首席执行官迈克·里德直言：“是时候表明立场，说‘够了，真的够了’。”如果搜索引流继续下滑，该公司正考虑屏蔽Google的网页抓取工具。数据分析机构Semrush的数据显示，2025年6月至2026年6月期间，美国《今日报》全国网站来自Google的自然搜索流量锐减了近一半；同期，《政客》杂志下降了23%，CNN损失约25%，而《商业内幕》的流量更是暴跌超过85%。

面对出版商的抵制，Google虽然提供了一些控制选项，允许其限制内容的抓取与使用方式，但这背后却伴随着不小的代价。虽然出版商可以通过“Google扩展”阻止内容被用于训练双子星模型，但如果阻止其出现在人工智能概览中，将同时面临失去在传统搜索中曝光率的巨大风险。而采取诸如禁止索引等更极端的措施，则会将网页从Google彻底抹去。

这一矛盾在英国已经引发监管干预。上个月，英国竞争与市场管理局已下令Google，必须允许出版商在不牺牲其传统搜索排名的情况下，选择退出人工智能搜索功能。Google表示，将在英国对这些控制措施进行测试，随后推广至全球，但尚未给出具体的时间表。

皮尤研究中心去年的一项研究发现，在没有AI概览的搜索中，用户点击传统链接的比例为15%，而一旦出现AI概览，该比例就会暴跌至8%；同时，Google摘要内部链接的点击率仅为1%。

尽管Google坚称其AI功能每周仍然为各大网站带来数十亿次的访问量，并帮助出版商扩大受众，且公司已开始向200多家出版商支付AI访问费用，但出版商们显然对这种“用自身心血去喂养最终抢走自己流量的系统”的逻辑产生了深深的质疑。

Cloudflare首席执行官马修·普林斯曾多次发出警告，称AI摘要正在彻底摧毁支撑整个互联网的商业模式，目前各类网络机器人已占到互联网流量的约56%。彻底屏蔽Google或许是目前最极端的应对手段，但对于部分走投无路的出版商而言，这似乎已经成了好过现状的唯一选择。