Cloudflare 推出 “AI 迷宫”,引导恶意爬虫走入虚假数据陷阱
全球知名的网络基础设施公司 Cloudflare 近日宣布推出一项名为 “AI Labyrinth”(AI 迷宫)的新工具,旨在打击未经授权抓取网站数据的网络爬虫。这一举措的核心在于,当 Cloudflare 监测到不当的爬虫行为时,该工具会将这些爬虫引导到一系列 AI 生成的虚假页面,目的在于 “拖延、迷惑并浪费” 恶意爬虫的资源。长期以来,网站管理员依赖 “robots.txt” 文件来管理爬