

针对AI开发商以爬虫扫描网站内容作为模型训练数据的行为,Cloudflare提供AI Audit免费工具协助网站管理者察看AI爬虫行为,以决定是否借由新功能Block AI Scrapers and Crawlers封锁所有AI爬虫,还是通过既有的Web Application Firewall功能控管要允许或封锁的爬虫
若还不确定该如何处理这些AI爬虫,网站管理员可以借由新的Block AI Scrapers and Crawlers功能,一键封锁所有的AI爬虫。

在这两个新的免费功能之外,网站管理员也可通过既有的Web Application Firewall(WAF)功能,更精细地控制所要允许或封锁的爬虫。

Cloudflare指出,除了上述的选择之外,他们认为网站应该也要能够得到合理的补偿,因此正在规画一个新的组件,允许网站拥有者可替该站或特定内容设置价格,要求以AI爬虫扫描该站的模型供应商付费。
/Cloudflare