robots.txtジェネレーター
ユーザーエージェントごとにallow/disallowルールを設定し、サイトマップの参照も追加して、そのまま使えるrobots.txtファイルを生成します — 検索エンジンのクローラーをサイト内で誘導するための標準的な方法です。
SEO・マーケティングツール ブラウザ内で完結
ファイルはすべてお使いの端末上で生成され、サーバーには一切送信されません。
生成されたrobots.txt
User-agent: * Allow: / Disallow: /admin Disallow: /api/