Hacker News AI· alishaikha·· 5 天前AI 评分50
研究：945 家网站中 25.9% 在 robots.txt 屏蔽至少一个 AI 爬虫
Show HN: Which big sites block AI training crawlers but let AI search in
AI 导读
一项针对 945 家知名网站的 robots.txt 检查发现，25.9%（可读取的 746 家中的 193 家）至少屏蔽一个 AI 爬虫，9.2%（69 家）屏蔽 AI 训练爬虫但放行所有 AI 搜索爬虫。
来源：Hacker News AI · getkavel.com