2026年創業者向けAIクローラーガイド：robots.txt、llms.txt、そして引用される方法
AIクローラーが実際にあなたのサイトに到達する仕組み、robots.txtとllms.txtに書くべき内容、そしてアシスタントがあなたを引用できるかどうかを決めるオンページのシグナル。
AIアシスタントに引用されるかどうかは、コンテンツの問題である前にクローラーの問題です。ボットがページを取得して解析できなければ、どれだけ優れた文章でも回答に表示されることはありません。 良いニュースは、技術的なレイヤーは小さいということです — いくつかの robots.txt ルール、任意で llms.txt、そしてあなたのコンテンツを簡単に引用可能にするページレベルのシグナルのセットだけです。このガイドでは、まさにそれらを、実行すべき順序で扱います。
これは、aat.ee でこれらのファイルを本番運用してきた経験から書かれています。このサイトを支えている AI クローラールールと llms.txt も含みます。
AI アシスタントがあなたを引用するまでの流れ
経路は 2 つあり、両方に最適化すべきです:
- ライブ取得。 アシスタントは回答時にページを検索または取得します。ここではクロール可能性、鮮度、抽出可能な構造がすべてを決めます。あなたのページがブロックされていれば、取得できません。
- トレーニングデータ。 「カテゴリ → 主要製品」という連想は、モデルがトレーニングされたテキストから学習されました。信頼できる情報源で、明確な言葉で、頻繁に言及される製品は、モデルが頼るデフォルトになります。この経路はより遅く、制御しにくく、だからこそウェブ全体での一貫性が重要になります。
今週影響を与えられるのはライブ取得です。そこから始めましょう。
ステップ 1: AI クローラーを入れる
最初の失敗は、気づかないうちの過剰ブロックです。多くのサイトが「未知のボット」を拒否したり、AI ユーザーエージェントをブロックする robots.txt をコピーしたりして、なぜ自分たちが決して言及されないのか不思議に思っています。意図的に決めましょう。
誰が誰かを知る
重要な区別: トレーニングクローラーとライブ取得エージェントは別々のユーザーエージェントであり、片方をブロックしてももう片方はブロックされません。
| ユーザーエージェント | 何をするか | ブロックすると |
|---|---|---|
GPTBot | OpenAI のトレーニングクローラー | 将来のトレーニングデータから除外される |
ChatGPT-User | ユーザーのプロンプトがページを必要としたときのライブ取得 | ChatGPT はブラウジングする回答でページを読めない |
ClaudeBot | Anthropic のクロール | トレーニングと取得のカバレッジが減少 |
Claude-User | Claude ユーザーによってトリガーされるライブ取得 | Claude はオンデマンドでページを読めない |
PerplexityBot | Perplexity のクローラー | Perplexity の出典付き回答から外れる |
Google-Extended | Google がクロールしたコンテンツの Gemini/Vertex トレーニング利用を制御 | Google 検索は機能し続けるが、Gemini のトレーニング利用は無効になる |
CCBot | Common Crawl、多くのモデルがトレーニングするコーパス | 広く使われているオープンコーパスから除外される |
目標が推薦されることなら、デフォルトは両方のクラスに対して許可であるべきです。ライブ回答で引用可能なままトレーニングを拒否する具体的な理由がある場合は、トレーニングエージェント(GPTBot、ClaudeBot、CCBot、Google-Extended)をブロックし、ライブ取得エージェント(ChatGPT-User、Claude-User、PerplexityBot)を明示的に許可します。それは一貫した立場です — ただ意図的にそうしましょう。
機能する robots.txt のパターン
ブロックすべきパス(プライベートなアプリ画面、管理、内部ツール)をブロックし、それ以外はすべてクロールさせます。AI エージェントにも他の全員と同じプライベートパスリストを保ち、サイトマップを宣言します:
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10実際のデバッグ時間を節約する 2 つの注意点:
- ソースではなく、ライブのファイルをテストする。 ブラウザで
https://yoursite.com/robots.txtを取得し、レンダリングされた出力を確認します — ほとんどのフレームワークはコードからこれを生成し、そのコードのバグは見るまで見えません。 Crawl-delayはお願いであり、保証ではありません。 それでも礼儀正しい値を設定する価値はあります: 小さなサイトへの攻撃的なクロールは、レート制限を受けたり、自分のホストにブロックされたりする原因になります。
削除すべきもの 1 つ
URL パターンを拒否するルールがあり、なぜそれがそこにあるのかわからない場合は、そのままにする前に AI エージェントをブロックしていないか確認してください。受け継いだ robots.txt ルールは、「Google にはインデックスされているのに ChatGPT には決して名前を出されない」最も一般的な原因の 1 つです。
ステップ 2: llms.txt を配信する(それが価値を持つなら)
llms.txt は提案された慣習であり、標準ではありません: /llms.txt にある Markdown ファイルで、モデルにあなたのサイトのキュレーションされた地図を与えます — あなたが何であるか、最も重要なページ、そして何がクロールされ再利用されてよいか。特定のアシスタントがそれを読む保証はなく、クロール可能なページの代わりになることを期待すべきではありません。
それでも公開する価値はあります。理由は 2 つ: 約 1 時間しかかからず、そしてあなたのコンテンツをどのように帰属表示してほしいかを平易な言葉で述べられる唯一の場所だからです。それは読むことを選ぶあらゆるシステムにとって有用であり、あなたのクロールポリシーの明確な公開表明です。
有用な llms.txt には 5 つの部分があります:
# llms.txt - AI/LLM Crawling Instructions for example.com
# About
> example.com is a [one-line description of what the site is and who it is for].
# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)
# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas
# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"
# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xml# llms.txt - AI/LLM Crawling Instructions for example.com
# About
> example.com is a [one-line description of what the site is and who it is for].
# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)
# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas
# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"
# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xml実際のルートに合わせて調整してください。最も一般的な間違いは、あなたが持っていないサイトを説明するテンプレートを公開することです — 古いパスはファイルがないより悪いです。
llms.txt を言い訳にしない
この慣習が魅力的なのは、切り替えられるスイッチのように感じられるからです。そうではありません。ライブページを取得するモデルは、あなたのマニフェストではなく、あなたの_ページ_を読みます。帰属表示の明確さのために llms.txt を公開し、それからページレベルの作業に取り掛かりましょう。
ステップ 3: ページを引用可能にする
ここで実際に引用が勝ち取られます。取得システムは自己完結した記述を抽出するので、それらを渡せるようにページを構造化しましょう。
- 冒頭に一文の答え。 タイトルの後の最初の段落は、平易な宣言的な言葉で、そのものを一文で定義すべきです。その一文が回答に引き上げられるものです。
- 質問の形をした見出し。 人々が実際にタイプする言い回しを使いましょう — 「X の費用はいくら?」「X は Y より優れている?」 — そうすれば見出しと答えが揃います。
- 比較表。 表は比較の質問に直接対応し、不釣り合いなほど引用されます。狭く(3〜4 列)完全に保ちましょう。
- 本物の FAQ。 直接的な答えを伴う 5〜8 個の本物の質問。質問形式のマーケティングコピーではありません。
- 日付とバージョン。 「2026 年 7 月時点」は取得システムにページが最新であることを伝えます。日付のないページは日付のあるページに対して不利に競合します。
- 他のどこでも一致する事実。 あなたのサイト、ディレクトリ掲載、プロフィール全体で、同じ製品名、同じ一文紹介、同じカテゴリ、同じ正規 URL。不一致はモデルの確信度を下げます — そして確信のあるモデルは製品に名前を挙げます。
ステップ 4: あなたのドメインを好む理由を与える
クロール可能性は考慮されるようにします。信頼性は引用されるようにします。その入力は地味で、複利的に効きます:
- 恒久的で関連性のある掲載。 構造化されたディレクトリページは解析しやすく、頻繁に情報源として使われます(dofollow ディレクトリ被リンク)。
- 権威ある、トピックに合ったサイトでの言及。 言及がどこに現れるかは、いくつ存在するかよりも重みがあります(ドメインレーティングと AI 可視性)。
- ページ間の一貫性。 どこでも同じ事実で、何も突き合わせる必要がないように。
- 鮮度。 重要なページを実際のスケジュールで更新しましょう。取得は最新のコンテンツを好みます(GEO/AIEO プレイブック)。
90 分チェックリスト
-
/robots.txtをライブで取得し、クローラーが読むように読む - トレーニングエージェントとライブ取得エージェントが意図的に許可(またはブロック)されていることを確認する
-
/sitemap.xmlが存在し、有効で、実際のページを列挙していることを確認する - 正確なパスと帰属表示の行を含む
/llms.txtを公開または更新する - 最も重要な 5 ページの冒頭に一文の答えを追加する
- メインの製品ページに比較表を 1 つと FAQ を 1 つ追加する
- あなたの名前、一文紹介、カテゴリがサイト、掲載、プロフィール全体で一致することを確認する
それを一度やれば、継続的な作業は鮮度だけです。
FAQ
llms.txt とは何ですか?
提案された慣習 — 標準ではありません — で、/llms.txt にある Markdown ファイルで、AI システムにあなたのサイトのキュレーションされた地図を与えます: あなたが何であるか、主要なページ、クロール許可、そしてどのように帰属表示してほしいか。上のステップ 2 のテンプレートを参照してください。公開には約 1 時間かかり、どのアシスタントもそれを読む保証はありません。
llms.txt は SEO に役立ちますか?
直接的には役立ちません。検索エンジンはマニフェストではなくページをランク付けし、llms.txt は今日ランキングの入力ではありません。その価値は帰属表示の明確さと公開クロール表明です — 読むことを選ぶ AI システムに有用で、検索ランキングには無害です。
AI アシスタントに引用されるために llms.txt は必要ですか?
いいえ。それは読まれる保証のない任意の慣習です。実際にあなたが引用されるのは、クロール可能なページと抽出可能なコンテンツです。llms.txt は帰属表示の明確さのための低コストのボーナスとして扱いましょう。
GPTBot や ClaudeBot をブロックすべきですか? あなたのコンテンツをトレーニングに使われたくないと意図的に望む場合のみです。トレーニングクローラーをブロックすると、モデルがあなたのカテゴリ連想を学習する頻度が減ります。一般的に、ライブ取得エージェントが回答であなたのページを読むのを妨げることはありません。目標が推薦されることなら、両方を許可するのが実用的なデフォルトです。
ClaudeBot と Claude-User の違いは何ですか?
ClaudeBot は Anthropic のクローラーで、トレーニングデータの構築と更新に使われます。Claude-User は、_今まさに誰かが Claude にそれについて尋ねたために_ページを取得するエージェントです。2 つ目をブロックすると、トレーニングには影響を与えずにライブ回答から外れます。
Google-Extended は検索ランキングに影響しますか?
いいえ。Google-Extended は、Google がクロールしたコンテンツが Gemini と Vertex AI のトレーニングに使われてよいかを制御します。Google 検索のインデックス登録とランキングは、通常の Googlebot ルールによって管理されます。
結果が出るまでどのくらいかかりますか? ライブ取得は、新しくインデックスされ、よく構造化されたページを数日以内に反映できます。トレーニングデータの連想は、信頼できる言及がウェブ全体で蓄積されるにつれて、数か月かけて構築されます。その非対称性こそ、今技術的な作業をする理由です。
あなたのサイトを引用しやすくしましょう: aat.ee に製品を掲載すると、クローラーとアシスタントが実際に読める恒久的な dofollow 掲載が得られます。あるいはディレクトリと GEO のプランを比較する。