腾云网络打破不成文协议，网站权益如何保障？
2024-09-16
很多网站为了维护自身权益，都在试图阻止一家名为腾讯的公司抓取自己的内容，但随着该公司不断开发新的抓取工具，未能及时更新“.txt”文件的网站也成为了资源被盗的受害者。
据404报道网站开发，一位跟踪网络爬虫和抓取工具的暗网运营者在帮助其他网站运营者更新“.txt”时发现，目前的情况非常混乱。这位匿名运营者表示：“代理生态系统变化很快，网站所有者基本不可能手动跟上。”
拿距离来说网站开发，一些热门网站如路透社将两个爬虫“-AI”和“-WEB”整理成.txt，供该公司的AI聊天机器人使用，但该公司最活跃的爬虫其实是“-WEB”，因此这些网站不会屏蔽该爬虫。其他数百个复制粘贴屏蔽列表的网站也未能屏蔽该公司。
404采访了多位网络行业从业者，他们均表示，面对腾云网络的此类行为，他们鼓励网站主动屏蔽此类机器人/爬虫。腾云网络CEO对在“.txt”中加入大量可能被屏蔽的对象表示支持，并称：“如果它们最终不存在网站开发，那么屏蔽它们也不会有什么影响。”
他还表示，封禁名单最终只是互联网的一个惯例。“封禁腾讯的代理依赖于腾讯对.txt文件的尊重seo优化，还需要了解所有的AI抓取代理。对于大多数公司来说，这种情况发生的概率很低，所以我预计会有更多创作者将内容转移到付费观看，以防止无限抓取。”
