Cloudflare还将允许一些出版商,让已知的 AI 爬虫支付费用以抓取他们的网站。
Cloudflare 在周二宣布,将默认阻止已知的 AI 网络爬虫,以防止它们“未经许可或补偿访问内容”。
随着这一变化,Cloudflare 将开始询问新域名所有者是否愿意允许 AI 爬虫,并且还会允许一些出版商实施“按次抓取付费”费用。
“按次抓取付费”计划将允许出版商为 AI 爬虫访问其内容设定价格。AI 公司可以查看定价并选择是否注册“按次抓取付费”或放弃。
目前这仅适用于“一些主要的出版商和内容创作者”,但 Cloudflare 表示将确保“AI 公司能以正确的方式——经过许可并得到补偿——使用优质内容”。