robots.txt ジェネレーター

How to Use

1. 基本方針を選ぶサイト全体を許可するか、一部のパスだけ拒否するかを選びます。管理画面やカートなど、検索結果に出しても意味のないパスは「クイック追加」から入れられます。
2. AIクローラーを決めるプリセットで学習用だけ拒否・すべて許可・すべて拒否を切り替えられます。1件ずつ許可/拒否を変えることもできます。
3. ルートに置くできた robots.txt をダウンロードし、サイトの最上位（https://example.com/robots.txt）にアップロードします。サブディレクトリに置いても読まれません。

About This Tool

robots.txt はクローラーへの通行の指示書です。サイトのルートに置かれたこのテキストファイルを、検索エンジンやAIのクローラーが最初に読みます。User-agent で相手を指定し、Disallow で読ませないパス、Allow でその例外を書きます。仕様は長く事実上の標準でしたが、2022年に RFC 9309 として正式な仕様になりました。

「AIに学習されたくない、でもAI検索には出したい」を書き分けます。AIクローラーは目的が3つに分かれています——モデルの学習用（GPTBot・ClaudeBot・Google-Extended など）、AI検索の索引用（OAI-SearchBot・PerplexityBot・Claude-SearchBot など）、利用者がURLを貼ったときだけ来る都度取得（ChatGPT-User など）です。このツールは目的ごとに扱いを分けたプリセットを持っているので、「学習は断るが、AI検索の結果には出したい」という一番多い要望をそのまま書けます。llms.txt ジェネレーターと対で使うと、断る相手と歓迎する相手の両方を宣言できます。

専用グループを作ると共通ルールが届かなくなる問題に対処します。クローラーは自分に一致するグループを1つだけ読み、残りは見ません。User-agent: * に Disallow: /admin/ と書いてあっても、User-agent: GPTBot のグループを作った時点で GPTBot は /admin/ を読めるようになります。このツールは既定で共通の禁止パスをAIクローラーのグループへ書き写すため、この取りこぼしが起きません。

書き間違いをその場で指摘します。先頭の / の抜け、絶対URLをそのまま書いた行、空白を含むパス、パーセントエンコードしていない日本語のパス、同じ User-agent が2つのグループに出ている状態、Googlebot が読まない Crawl-delay、サイトマップの宣言漏れなどを「読み取りの結果」に出します。パスの先頭 / と絶対URLは自動で直します。

robots.txt を置いたら Search Console の robots.txt レポートで実際に読めているかを確認してください。サイトマップ自体を作るなら llms.txt と併せて、構造化データは JSON-LD生成、OGPは OGPメタタグ生成ウィザード が使えます。

robots.txt の落とし穴

Disallow: /secret/     ← クロールを止めるだけ
<meta name="robots" content="noindex">   ← 検索結果から消すのはこちら

Disallow: /admin-secret-2026/   ← 誰でも読める場所に住所を書いている

User-agent: *
Disallow: /admin/

User-agent: GPTBot
Disallow:          ← GPTBot は上の /admin/ を読まない（＝入れてしまう）

Disallow: /assets/    ← レイアウトが崩れた状態で評価される

https://example.com/robots.txt        ← ここだけが読まれる
https://example.com/sub/robots.txt    ← 読まれない
https://sub.example.com/robots.txt    ← サブドメインは別ファイル

Disallow: /*?utm_source=    ← ? 以降にパラメータの付いたURL
Disallow: /*.pdf$           ← .pdf で終わるURL

Crawl-delay: 10   ← Bing・Yandex には効く / Google は無視する

User-agent: GPTBot
Disallow: /
（ここに書かれていないクローラーは全部許可）

From AI Agents

この生成ロジックは、MCP（Model Context Protocol）サーバー @first-ch/tools-mcp の robotstxt_generate ツールとしても提供しており、ブラウザを使わずAIエージェントから直接呼び出せます。導入方法の詳細は AIエージェントからの使い方 を参照してください。

導入

claude mcp add firstch-tools -- npx -y @first-ch/tools-mcp

呼び出し例

# 学習用のAIクローラーだけ断る robots.txt を書き出す
robotstxt_generate(siteUrl="https://example.com",
                   sitemaps="https://example.com/sitemap.xml",
                   ai={"preset": "training"})

# 管理画面を塞ぎ、AIクローラーにも同じ禁止パスを書き写す
robotstxt_generate(disallow="/admin/\n/cart/", ai={"preset": "training"})

# 生成せず、AIクローラーの一覧（名前・提供元・目的）だけを見る
robotstxt_generate(listCrawlers=true)

Other Tools

• 01画像→WebP一括変換WebP Converter
• 02白背景の透過White BG Remover
• 03コントラスト比チェッカーContrast Checker
• 04文字数カウントCharacter Counter
• 05llms.txt ジェネレーターllms.txt Generator
• 06JSON-LD構造化データ生成JSON-LD Generator
• 07Markdown→PDF変換MD → PDF
• 08OGPメタタグ生成ウィザードOGP Wizard
• 09faviconジェネレーターFavicon Generator
• 10TikTok投稿ツールTikTok Publisher
• 11文字コード・改行コード変換Encoding Converter
• 12画像→AVIF変換＋picture生成AVIF Converter
• 13テストデータ生成Test Data Generator
• 14Marp Markdown→スライドMarp Slides
• 15テキスト・コード差分チェッカーDiff Checker
• 16Cron式ビジュアル解説＆発火日時Cron Explainer
• 17Base64 & Data URI変換Base64 & Data URI
• 18URLパラメータ分解・UTMタグ編集URL Parameters
• 19HTMLエンティティ・特殊文字エスケープHTML Escape
• 20JSON ⇄ YAML 相互変換JSON ⇄ YAML
• 21PX ⇄ REM / EM 単位変換＆スケール表PX ⇄ REM / EM
• 22Colorコード変換＆アルファ透過Color Converter
• 23MD5 / SHA-256 ハッシュ生成Hash Generator
• 24JWTデコーダー＆有効期限チェッカーJWT Decoder
• 25User-Agent解析＆デバイス判定User-Agent Parser
• 26UUID (v4) & ULID 一括生成UUID & ULID Generator
• 27アスペクト比計算＆レスポンシブサイズAspect Ratio Calculator
• 28Markdownテーブル整形＆CSV/TSV変換Markdown Table
• 29SQLクエリフォーマッター＆整形SQL Formatter
• 30QRコード生成QR Code Generator
• 31正規表現テスターRegex Tester
• 32UNIXタイムスタンプ⇄日時変換Unix Time Converter
• 33新規タブメモ帳 Chrome拡張New Tab Memo
• 34画像リサイズ＆クロップImage Resizer
• 35EXIF情報の確認＆除去EXIF Viewer
• 37安全なパスワード生成Password Generator
• 38文字列ケース変換Case Converter