一位总部位于圣迭戈的艺术家原本希望有更多人访问她的网站。

但她说，自己收到的却是来自Meta机器人的超过55万次访问，她正忙着设法让生意继续在线运行。

儿童读物作者兼插画师Chelsea Paulus告诉Business Insider，一名自动化访客挤占了她网站的托管资源，迫使她与托管服务商一起排查问题。

Paulus说：“这种情况以前从未发生过。这一周压力非常大，即便我有一些技术知识来处理，也依然如此。”

Paulus表示，她经营自己的生意已有10年，并在去年成为全职艺术家。在此之前，她从事技术和网页设计工作，因此当网站流量开始不断累积时，她很快意识到情况不对。

“我不认为这是Meta任何有意或恶意的攻击，”Paulus说，“但小企业主需要意识到这种情况可能发生，并且需要有工具来阻止它。”

保住网页运行的斗争

10月24日，Paulus收到了托管服务商SiteGround发来的电子邮件，提醒她已经使用了分配给她的CPU资源的80%。Paulus的4个网站共用一个由这家总部位于保加利亚的公司提供支持的托管方案。

Paulus说，当她在下周一查看网站的安全仪表盘时，看到请求每秒都会出现好几次。

“我打开了WordFence，然后看到每秒不断弹出的连续记录，”Paulus说，“在WordFence里，你可以点击详情查看IP地址。我查了一下，那个IP地址来自达拉斯的一个Meta地点。”

她说，这个访客自称为“Meta External Agent”，这一点后来也得到了她的网站托管方SiteGround运营人员的证实。

根据Meta开发者网页的说明，Meta External Agent会“抓取网络”，用途包括训练基础AI模型或通过直接索引内容来改进产品。

“我编辑了robots.txt文件，也设置了防火墙，但这些措施也可能要24小时才会生效，而我需要立刻阻止这些机器人，”Paulus说，“所以我联系了我的托管商。”

“他们给了我一些代码，让我加到网站上的一个隐藏文件里，”她补充说，“这个隐藏文件不是普通网站运营者会想去碰的东西，但这却是我们阻止这些机器人的唯一办法。”

不过，这一修复只是暂时的。到了周中，Paulus说另一种名为“Meta Web Indexer”的Meta机器人又来了，把她的托管资源使用率推到了100%。

寻找答案仍在继续

Meta发言人周一对Business Insider表示，网站管理者可以控制机器人活动，并指向其“Meta Web Crawlers Developer Documentation”页面，以了解每种机器人如何使用。

Meta发言人说：“和许多公司一样，Meta会出于多种不同目的使用网络爬虫，网站管理者可以通过robots.txt等工具决定我们的爬虫如何与他们的网站互动。我们提供公开可用的指南，说明如何为我们的爬虫管理robots.txt，并尊重网站所有者设定的偏好。”

SiteGround没有回应置评请求。

根据SiteGround与Paulus之间的一张截图邮件往来，该公司表示，其“服务器端保护”已经在限制这些机器人尝试。

截至周一，Paulus说她的网站仍然举步维艰。她不得不从Instagram个人主页中移除该网页链接，以防止更多真人点击把网站彻底弄宕机。

Paulus说，她没有能力花钱提高网站的流量配额，因为机器人不是客户，也不会带来额外收入。目前也没有法律禁止AI机器人抓取一个公开可访问的网站。

她还表示，自己正在考虑使用Cloudflare的人类验证工具来阻止机器人访问她的网站。该工具目前可免费使用。

“Meta需要设置护栏，防止这种事情发生，”Paulus说，“想象一下，如果不受监管的AI继续这样做，像Cloudflare这样的平台还能免费提供服务多久？”

她补充说：“如果这种情况持续下去，我会认为小企业将不得不花更多钱，要么支付更高的使用费用，要么购买更好的防护程序。”