Hacker News AI· mimimile·· 4 天前AI 评分42
前 1 万个网站的 robots.txt 研究：29.8% 的 AI 爬虫封禁规则被自身分组绕过
AI crawlers in robots.txt: a study of the top 10k sites (2026)
AI 导读
一项针对前 1 万个网站 robots.txt 的研究发现，在同时封禁通用路径并点名 AI 爬虫的 1,105 个文件中，有 329 个（29.8%）让该爬虫绕过了至少一条封禁路径。
来源：Hacker News AI · hitmind.ai