

針對AI開發商以爬蟲掃描網站內容作為模型訓練資料的行為,Cloudflare提供AI Audit免費工具協助網站管理者察看AI爬蟲行為,以決定是否藉由新功能Block AI Scrapers and Crawlers封鎖所有AI爬蟲,還是透過既有的Web Application Firewall功能控管要允許或封鎖的爬蟲
若還不確定該如何處理這些AI爬蟲,網站管理員可以藉由新的Block AI Scrapers and Crawlers功能,一鍵封鎖所有的AI爬蟲。

在這兩個新的免費功能之外,網站管理員也可透過既有的Web Application Firewall(WAF)功能,更精細地控制所要允許或封鎖的爬蟲。

Cloudflare指出,除了上述的選擇之外,他們認為網站應該也要能夠得到合理的補償,因此正在規畫一個新的元件,允許網站擁有者可替該站或特定內容設定價格,要求以AI爬蟲掃描該站的模型供應商付費。
/Cloudflare