ai.robots.txt

ai.robots.txt 是一个开源的 AI 网络爬虫黑名单项目，旨在帮助网站运营者识别并屏蔽各类用于数据采集、模型训练等目的的 AI 驱动爬虫。项目提供标准化 robots.txt 文件及主流 Web 服务器（如 Nginx、Apache、Caddy、HAProxy、Lighttpd）的配置片段，支持基于 User-Agent 的精准拦截，并持续维护涵盖 Bing、Google、Perplexity、You.com 等主流 AI 厂商爬虫的实时清单。适用于注重数据隐私保护、防止内容被无偿用于大模型训练的个人站长、企业网站及内容平台。