AIクローラー、robots.txt、llms.txt：2026年版ファウンダー向けガイド

AIアシスタントに引用されるかどうかは、コンテンツの問題である前にクローラーの問題です。ボットがページを取得して解析できなければ、どれだけ優れた文章でも回答に表示されることはありません。幸いなことに、技術的なレイヤーは小さなものです — いくつかの robots.txt ルール、任意で llms.txt、そしてコンテンツを簡単に引用可能にするページレベルのシグナル群です。このガイドでは、まさにそれらを、取り組むべき順序で解説します。

これは、aat.ee でこれらのファイルを本番運用してきた経験に基づいて書かれています。このサイトを配信している AI クローラールールと llms.txt も含まれます。

AI アシスタントがあなたを引用する仕組み

経路は 2 つあり、両方に最適化すべきです:

ライブ取得。 アシスタントが回答時にページを検索または取得します。ここではクロール可能性、鮮度、抽出可能な構造がすべてを決めます。ページがブロックされていれば、取得できません。
トレーニングデータ。 「カテゴリ → 主要製品」という連想は、モデルが学習したテキストから学ばれました。信頼できる情報源で、明確な言葉で、頻繁に言及される製品は、モデルが頼るデフォルトになります。この経路はより遅く、制御しにくく、ウェブ全体での一貫性が重要になる理由でもあります。

今週影響を与えられるのはライブ取得です。そこから始めましょう。

ステップ 1: AI クローラーを受け入れる

最初の失敗は、気づかないうちの過剰ブロックです。多くのサイトが「未知のボット」を拒否したり、AI ユーザーエージェントをブロックする robots.txt をコピーしたりして、なぜ自分たちが決して言及されないのかと不思議に思います。意図的に決めましょう。

誰が誰かを知る

重要な区別: トレーニングクローラーとライブ取得エージェントは別々のユーザーエージェントであり、一方をブロックしても他方はブロックされません。

ユーザーエージェント	何をするか	ブロックするとどうなるか
`GPTBot`	OpenAI のトレーニングクローラー	将来のトレーニングデータから除外される
`ChatGPT-User`	ユーザーのプロンプトがページを必要としたときのライブ取得	ChatGPT はブラウジングする回答でページを読めなくなる
`ClaudeBot`	Anthropic のクロール	トレーニングと取得のカバレッジが減少する
`Claude-User`	Claude ユーザーによってトリガーされるライブ取得	Claude はオンデマンドでページを読めなくなる
`PerplexityBot`	Perplexity のクローラー	Perplexity の出典付き回答から外れる
`Google-Extended`	Google がクロールしたコンテンツの Gemini/Vertex トレーニング利用を制御	Google 検索は機能し続けるが、Gemini のトレーニング利用が無効になる
`CCBot`	Common Crawl、多くのモデルが学習するコーパス	広く使われているオープンコーパスから除外される

推薦されることが目標なら、デフォルトは両クラスに対して許可であるべきです。トレーニングを拒否しつつライブ回答では引用可能でありたいという特定の理由がある場合は、トレーニングエージェント(GPTBot、ClaudeBot、CCBot、Google-Extended)をブロックし、ライブ取得エージェント(ChatGPT-User、Claude-User、PerplexityBot)を明示的に許可します。これは一貫した立場です — ただ、意図的にそうしましょう。

実用的な robots.txt パターン

ブロックすべきパス(プライベートなアプリ画面、管理画面、内部ツール)をブロックし、それ以外はすべてクロールさせます。AI エージェントにも他の全員と同じプライベートパスリストを適用し、サイトマップを宣言します:

User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml

User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10

実際のデバッグ時間を節約する 2 つの注意点:

ソースではなく、ライブのファイルをテストする。 ブラウザで https://yoursite.com/robots.txt を取得し、レンダリングされた出力を確認しましょう — ほとんどのフレームワークはコードからこれを生成し、そのコードのバグは見るまで分かりません。
Crawl-delay はお願いであり、保証ではありません。 それでも礼儀正しい値を設定する価値はあります: 小さなサイトへの攻撃的なクロールは、レート制限や自分のホストによるブロックにつながる道です。

削除すべきもの 1 つ

URL パターンを拒否するルールがあり、なぜそれがそこにあるのか分からない場合は、そのままにする前に AI エージェントをブロックしていないか確認しましょう。引き継いだ robots.txt ルールは、「Google にはインデックスされているのに ChatGPT には決して名前を出されない」最も一般的な原因の 1 つです。

ステップ 2: llms.txt を配信する(それが価値を持つなら)

llms.txt は提案された慣習であり、標準ではありません: /llms.txt にある Markdown ファイルで、モデルにサイトのキュレーションされた地図を提供します — あなたが何であるか、最も重要なページ、そして何がクロールされ再利用されてよいか。特定のアシスタントがそれを読む保証はなく、クロール可能なページの代わりになることを期待すべきではありません。

それでも公開する価値はあります。理由は 2 つ: 約 1 時間で済み、そしてコンテンツをどのように帰属表示してほしいかを平易な言葉で述べられる唯一の場所だからです。それは読むことを選ぶあらゆるシステムにとって有用であり、クロールポリシーの明確な公開表明でもあります。

有用な llms.txt には 5 つの部分があります:

# llms.txt - AI/LLM Crawling Instructions for example.com

# About
> example.com is a [one-line description of what the site is and who it is for].

# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)

# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas

# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"

# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xml

実際のルートに合わせて調整しましょう。最もよくある間違いは、自分が持っていないサイトを説明するテンプレートを公開することです — 古いパスはファイルがないより悪いです。

llms.txt を言い訳にしない

この慣習は、切り替えられるスイッチのように感じられるため魅力的です。そうではありません。ライブページを取得するモデルは、あなたのマニフェストではなく、あなたの_ページ_を読みます。帰属表示の明確さのために llms.txt を公開し、それからページレベルの作業に取り掛かりましょう。

ステップ 3: ページを引用可能にする

ここで実際に引用が勝ち取られます。取得システムは自己完結した記述を抽出するので、それを渡せるようにページを構造化しましょう。

冒頭に一文の答え。 タイトルの後の最初の段落で、平易な宣言的な言葉でそのものを一文で定義します。その一文が回答に引き上げられるものです。
質問の形をした見出し。 人々が実際にタイプする言い回しを使いましょう — 「X の費用はいくら?」「X は Y より優れている?」 — 見出しと答えが揃うように。
比較表。 表は比較の質問に直接対応し、不釣り合いなほど引用されます。狭く(3〜4 列)完全に保ちましょう。
本物の FAQ。 直接的な答えを伴う 5〜8 個の本物の質問。質問形式のマーケティングコピーではありません。
日付とバージョン。 「2026 年 7 月時点」は取得システムにページが最新であることを伝えます。日付のないページは日付のあるページに対して不利に競合します。
他のどこでも一致する事実。 サイト、ディレクトリ掲載、プロフィール全体で、同じ製品名、同じ一行説明、同じカテゴリ、同じ正規 URL。不一致はモデルの信頼度を下げます — そして自信のあるモデルは製品に名前を挙げます。

ステップ 4: あなたのドメインを好む理由を与える

クロール可能性は検討されるようにします。信頼性は引用されるようにします。その入力は地味で、複利的に効きます:

恒久的で関連性のある掲載。 構造化されたディレクトリページは解析しやすく、情報源として頻繁に使われます(dofollow ディレクトリ被リンク)。
権威ある、トピックに合ったサイトでの言及。 言及がどこに現れるかは、いくつ存在するかよりも重みがあります(ドメインレーティングと AI 可視性)。
ページ間の一貫性。 どこでも同じ事実で、何も突き合わせる必要がないように。
鮮度。 重要なページを実際のスケジュールで更新しましょう。取得は最新のコンテンツを優遇します(GEO/AIEO プレイブック)。

90 分チェックリスト

/robots.txt をライブで取得し、クローラーが読むように読む
トレーニングエージェントとライブ取得エージェントが意図的に許可(またはブロック)されていることを確認する
/sitemap.xml が存在し、有効で、実際のページを列挙していることを検証する
正確なパスと帰属表示の行を含む /llms.txt を公開または更新する
最も重要な 5 ページの冒頭に一文の答えを追加する
メイン製品ページに比較表を 1 つと FAQ を 1 つ追加する
名前、一行説明、カテゴリがサイト、掲載、プロフィール全体で一致していることを確認する

これを一度やれば、継続的な作業は鮮度維持だけです。

FAQ

AI アシスタントに引用されるには llms.txt が必要ですか? いいえ。それは読まれる保証のない任意の慣習です。実際にあなたを引用させるのは、クロール可能なページと抽出可能なコンテンツです。llms.txt は帰属表示の明確さのための低コストのボーナスとして扱いましょう。

GPTBot や ClaudeBot をブロックすべきですか? コンテンツをトレーニングに使われたくないと意図的に望む場合のみです。トレーニングクローラーをブロックすると、モデルがあなたのカテゴリ連想を学ぶ頻度が減ります。一般的に、ライブ取得エージェントが回答であなたのページを読むのを妨げることはありません。推薦されることが目標なら、両方を許可するのが実用的なデフォルトです。

ClaudeBot と Claude-User の違いは何ですか? ClaudeBot は Anthropic のクローラーで、トレーニングデータの構築と更新に使われます。Claude-User は、_今まさに誰かが Claude にそれについて尋ねたために_ページを取得するエージェントです。2 つ目をブロックすると、トレーニングには影響を与えずにライブ回答から外れます。

Google-Extended は検索順位に影響しますか? いいえ。Google-Extended は、Google がクロールしたコンテンツを Gemini と Vertex AI のトレーニングに使ってよいかを制御します。Google 検索のインデックス登録とランキングは、通常の Googlebot ルールによって管理されます。

結果が出るまでどのくらいかかりますか? ライブ取得は、インデックスされ、よく構造化された新しいページを数日以内に反映できます。トレーニングデータの連想は、信頼できる言及がウェブ全体で蓄積するにつれて、数か月かけて構築されます。この非対称性こそ、今すぐ技術的な作業を行う理由です。

あなたのサイトを引用しやすくしましょう: aat.ee に製品を掲載すると、クローラーとアシスタントが実際に読める恒久的な dofollow 掲載が得られます。あるいはディレクトリと GEO のプランを比較する。

2026年創業者向けAIクローラーガイド：robots.txt、llms.txt、そして引用される方法

Want a review for your product?