🤖
robots.txt 生成器
首页
生成
说明
User-agent(可多选)
* 所有爬虫
Googlebot
Bingbot
Baiduspider
YandexBot
规则
+ 添加规则
禁止全部 /
禁止后台 /admin
WordPress 常见
Crawl-delay(秒,可空)
Sitemap 地址
生成 robots.txt
复制
下载 robots.txt
结果
说明:
勾选的每个 User-agent 都会生成一块规则,规则对所有选中的 UA 生效
规则行可自由添加 Allow / Disallow
生成后复制或下载,放到站点根目录作为 robots.txt