字节跳动推出了新的网络爬虫，激进抓取网络数据

短视频应用 TikTok 的中国母公司字节跳动在4月份发布了自己的网络爬虫或抓取机器人，名为 Bytespider。尽管 TikTok 有可能在未来几个月内在美国被禁，但字节跳动仍在积极抓取用户数据。数据显示，在过去六周内，Bytespider 的抓取活动每周都会出现大幅增长，每日请求量已经达到 GPTbot 的25倍。

研究显示，字节跳动的机器人已迅速成为互联网上最激进的抓取工具。它抓取数据的速度是其他大公司的数倍，例如谷歌、Meta、亚马逊、OpenAI 和 Anthropic，这些公司使用自己的抓取机器人来帮助创建和改进大模型。研究显示，Bytespider 机器人并不尊重 robots.txt 文件，虽然该文件不具有任何法律约束力，但它表示抓取机器人不能获取该网站的数据

来源：财富