Robots.txt生成器
按用户代理(User-agent)设置允许/禁止规则,并添加站点地图引用,即可生成可直接使用的robots.txt文件——这是引导搜索引擎爬虫访问网站的标准方式。
SEO 与营销工具 完全在浏览器中运行
文件完全在您的设备上生成——不会发送到任何服务器。
生成的 robots.txt
User-agent: * Allow: / Disallow: /admin Disallow: /api/
按用户代理(User-agent)设置允许/禁止规则,并添加站点地图引用,即可生成可直接使用的robots.txt文件——这是引导搜索引擎爬虫访问网站的标准方式。
文件完全在您的设备上生成——不会发送到任何服务器。
User-agent: * Allow: / Disallow: /admin Disallow: /api/