2026. aasta asutaja juhend AI-roomajatele: robots.txt, llms.txt ja viitamise saavutamine
Kuidas AI-roomajad tegelikult sinu saidile jõuavad, mis kuulub robots.txt-i ja llms.txt-i ning millised lehel olevad signaalid otsustavad, kas assistent saab sind tsiteerida.
AI-assistendi poolt tsiteerimine on ennekõike crawler'i probleem ja alles seejärel sisu probleem: kui bot ei saa lehte alla laadida ja parsida, ei jõua ükski hea tekst vastusesse. Hea uudis on see, et tehniline kiht on väike — paar robots.txt reeglit, valikuliselt llms.txt ja hulk lehe tasandi signaale, mis muudavad sinu sisu triviaalselt tsiteeritavaks. See juhend katab täpselt seda, sellises järjekorras, nagu peaksid seda tegema.
See on kirjutatud kogemusest nende failide produktsioonis käitamisel aat.ee peal, sealhulgas AI-crawler'i reeglid ja llms.txt, mis seda saiti teenindavad.
Kuidas AI-assistent sinust tsiteerima jõuab
On kaks teed ja peaksid optimeerima mõlema jaoks:
- Reaalajas päring. Assistent otsib või laeb lehti vastuse andmise ajal. Siin otsustavad kõik crawlitavus, värskus ja ekstraktitav struktuur. Kui sinu leht on blokeeritud, ei saa seda pärida.
- Treeningandmed. Seos "kategooria → juhtivad tooted" on õpitud tekstist, mille peal mudel treeniti. Tooted, mida mainitakse sageli, usaldusväärsetel allikatel, selges keeles, muutuvad vaikeväärtusteks, mille poole mudel ulatub. See tee on aeglasem ja vähem kontrollitav ning just seetõttu loeb järjepidevus üle veebi.
Reaalajas päring on see, mida saad sel nädalal mõjutada. Alusta sealt.
Samm 1: Lase AI-crawler'id sisse
Esimene tõrge on vaikne üleblokeerimine. Paljud saidid keelavad "tundmatud botid" või kopeerivad robots.txt faili, mis blokeerib AI user-agente — ja siis imestavad, miks neid kunagi ei mainita. Otsusta teadlikult.
Tea, kes on kes
Kriitiline eristus: treening-crawler'id ja reaalajas-päringu agendid on eraldi user-agendid ning ühe blokeerimine ei blokeeri teist.
| User agent | Mida see teeb | Kui sa selle blokeerid |
|---|---|---|
GPTBot | OpenAI treening-crawler | Oled tulevastest treeningandmetest välja jäetud |
ChatGPT-User | Reaalajas päring, kui kasutaja prompt vajab lehte | ChatGPT ei saa sinu lehte vastustes, mis sirvivad, lugeda |
ClaudeBot | Anthropicu crawlimine | Vähenenud treeningu- ja päringukate |
Claude-User | Reaalajas päring, mille käivitab Claude'i kasutaja | Claude ei saa lehte nõudmisel lugeda |
PerplexityBot | Perplexity crawler | Sind ei ole Perplexity allikapõhistes vastustes |
Google-Extended | Kontrollib Gemini/Vertexi treeningut Google'i crawlitava sisuga | Google Search töötab endiselt, aga Gemini treening on keelatud |
CCBot | Common Crawl, korpus, mille peal paljud mudelid treenivad | Välistatud laialdaselt kasutatavast avatud korpusest |
Kui sinu eesmärk on, et sind soovitataks, peaks vaikeväärtus olema luba mõlemale klassile. Kui sul on konkreetne põhjus keelduda treeningust, olles samal ajal reaalajas vastustes tsiteeritav, blokeeri treening-agendid (GPTBot, ClaudeBot, CCBot, Google-Extended) ja luba selgesõnaliselt reaalajas-päringu agendid (ChatGPT-User, Claude-User, PerplexityBot). See on sidus positsioon — lihtsalt tee seda meelega.
Töötav robots.txt muster
Blokeeri rajad, mida pead (privaatsed rakenduse pinnad, admin, sisemised tööriistad) ja lase kõigel muul crawliida. Hoia sama privaatsete radade nimekiri AI-agentide jaoks nagu kõigi teiste jaoks, ja deklareeri oma sitemap:
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10Kaks märkust, mis säästavad tõelist silumisaega:
- Testi reaalajas faili, mitte allikat. Laadi brauseris
https://yoursite.com/robots.txtja kinnita renderdatud väljund — enamik raamistikke genereerib selle koodist ja viga selles koodis on nähtamatu, kuni sa vaatad. Crawl-delayon palve, mitte garantii. Viisaka väärtuse seadmine on siiski väärt seda: väikese saidi agressiivne crawlimine on see, kuidas jõuad rate-limiti või oma hosti poolt blokeerimiseni.
Üks asi, mille peaks eemaldama
Kui sul on reegel, mis keelab URL-mustri ja sa pole kindel, miks see seal on, kontrolli, kas see blokeerib AI-agenti, enne kui selle sisse jätad. Päritud robots.txt reeglid on üks levinumaid põhjuseid, miks "oleme Google'is indekseeritud, aga ChatGPT ei nimeta meid kunagi."
Samm 2: Teeninda llms.txt (kui see oma koha ära teenib)
llms.txt on pakutud konventsioon, mitte standard: Markdown-fail aadressil /llms.txt, mis annab mudelitele kureeritud kaardi sinu saidist — mis sa oled, sinu tähtsamad lehed ja mida võib crawliida ja taaskasutada. Pole mingit garantiid, et ükski konkreetne assistent seda loeb, ja sa ei peaks eeldama, et see asendab crawlitavaid lehti.
Seda tasub siiski avaldada kahel põhjusel: see maksab umbes tunni ja see on ainus koht, kus saad lihtsas keeles öelda, kuidas soovid, et sinu sisu omistataks. See on kasulik igale süsteemile, mis otsustab seda lugeda, ja see on puhas avalik avaldus sinu crawlimispoliitika kohta.
Kasulikul llms.txt-il on viis osa:
# llms.txt - AI/LLM Crawling Instructions for example.com
# About
> example.com is a [one-line description of what the site is and who it is for].
# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)
# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas
# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"
# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xml# llms.txt - AI/LLM Crawling Instructions for example.com
# About
> example.com is a [one-line description of what the site is and who it is for].
# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)
# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas
# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"
# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xmlKohanda see oma tegelike radadega. Kõige levinum viga on avaldada mall, mis kirjeldab saiti, mida sul pole — aegunud rajad on hullemad kui faili puudumine.
Ära lase llms.txt-l saada vabanduseks
Konventsioon on võluv, sest tundub nagu lüliti, mida saad klõpsata. See ei ole. Mudel, mis pärib reaalajas lehti, loeb sinu lehti, mitte sinu manifesti. Avalda llms.txt omistamise selguse pärast, siis mine tee lehe tasandi tööd.
Samm 3: Tee lehed tsiteeritavaks
Siin tsiteeringud tegelikult võidetakse. Päringusüsteemid ekstraktiivad isesisalduvaid väiteid, seega struktureeri oma lehed need üle andma.
- Ühelauseline vastus ülaosas. Esimene lõik pealkirja järel peaks asja defineerima ühes lauses, lihtsas deklaratiivses keeles. Just see lause tõstetakse vastusesse.
- Küsimuse-kujulised pealkirjad. Kasuta sõnastust, mida inimesed tegelikult trükivad — "Kui palju X maksab?", "Kas X on parem kui Y?" — et pealkiri ja vastus joonduksid.
- Võrdlustabelid. Tabelid vastavad otse võrdlusküsimustele ja neid tsiteeritakse ebaproportsionaalselt palju. Hoia need kitsad (3–4 veergu) ja täielikud.
- Tõeline FAQ. Viis kuni kaheksa ehtsat küsimust otseste vastustega. Mitte turundustekst küsimuse vormis.
- Kuupäevad ja versioonid. "Seisuga juuli 2026" ütleb päringusüsteemile, et leht on ajakohane. Kuupäevata lehed konkureerivad halvasti kuupäevastatud lehtedega.
- Faktid, mis klapivad kõikjal mujal. Sama tootenimi, sama üherealine kirjeldus, sama kategooria, sama kanooniline URL üle sinu saidi, sinu kataloogikirjete ja sinu profiilide. Ebajärjekindlus vähendab mudeli kindlustunnet — ja kindlad mudelid nimetavad tooteid.
Samm 4: Anna põhjus eelistada sinu domeeni
Crawlitavus paneb sind kaalumisele; usaldusväärsus paneb sind tsiteerima. Sisendid on ilmetud ja need kuhjuvad:
- Püsivad, asjakohased kirjed. Struktureeritud kataloogilehed on kergesti parsitavad ja neid kasutatakse sageli allikatena (dofollow kataloogi backlink'id).
- Mainimised autoriteetsetel, teemakohastel saitidel. See, kus mainimine ilmub, kaalub rohkem kui see, kui palju neid on (domeeni reiting ja AI nähtavus).
- Järjepidevus lehtede vahel. Samad faktid kõikjal, et midagi ei peaks ühitama.
- Värskus. Uuenda oma põhilehti tõelise graafiku järgi; päring eelistab ajakohast sisu (GEO/AIEO mänguraamat).
90-minutiline kontrollnimekiri
- Laadi
/robots.txtreaalajas ja loe seda nii, nagu crawler loeks - Kinnita, et treening- ja reaalajas-päringu agendid on meelega lubatud (või blokeeritud)
- Kontrolli, et
/sitemap.xmlon olemas, kehtiv ja loetleb sinu tegelikud lehed - Avalda või uuenda
/llms.txttäpsete radade ja omistamisreaga - Lisa ühelauseline vastus oma viie tähtsaima lehe ülaossa
- Lisa üks võrdlustabel ja üks FAQ oma peamisele tootelehele
- Kontrolli, et sinu nimi, üherealine kirjeldus ja kategooria klapivad saidi, kirjete ja profiilide vahel
Tee seda üks kord ja jooksev töö on lihtsalt värskus.
FAQ
Mis on llms.txt?
Pakutud konventsioon — mitte standard — Markdown-faili jaoks aadressil /llms.txt, mis annab AI-süsteemidele kureeritud kaardi sinu saidist: mis sa oled, sinu põhilehed, sinu crawlimisload ja kuidas soovid, et sind omistataks. Vaata malli sammus 2 ülal. Avaldamine maksab umbes tunni ja ükski assistent ei ole garanteeritult seda lugemas.
Kas llms.txt aitab SEO-le?
Mitte otseselt. Otsingumootorid järjestavad lehti, mitte manifeste, ja llms.txt ei ole täna järjestamise sisend. Selle väärtus on omistamise selgus ja avalik crawlimisavaldus — kasulik AI-süsteemidele, mis otsustavad seda lugeda, ja kahjutu sinu otsingu järjestustele.
Kas mul on vaja llms.txt-i, et AI-assistendid mind tsiteeriksid?
Ei. See on valikuline konventsioon, millel pole garanteeritud lugejaskonda. Crawlitavad lehed ja ekstraktitav sisu on see, mis sind tegelikult tsiteerituks teeb; käsitle llms.txt-i kui odavat boonust omistamise selguse jaoks.
Kas peaksin blokeerima GPTBot või ClaudeBot? Ainult siis, kui sa teadlikult ei taha, et sinu sisu treenimiseks kasutataks. Treening-crawler'ite blokeerimine vähendab seda, kui sageli mudelid õpivad sinu kategooriaseost; see üldiselt ei takista reaalajas-päringu agente sinu lehti vastuses lugemast. Kui sinu eesmärk on, et sind soovitataks, on mõlema lubamine pragmaatiline vaikeväärtus.
Mis vahe on ClaudeBotil ja Claude-Useril?
ClaudeBot on Anthropicu crawler, mida kasutatakse treeningandmete loomiseks ja värskendamiseks. Claude-User on agent, mis laeb lehe sellepärast, et inimene küsis Claude'ilt selle kohta praegu. Teise blokeerimine eemaldab sind reaalajas vastustest, jättes treeningu puutumata.
Kas Google-Extended mõjutab minu otsingu järjestusi?
Ei. Google-Extended kontrollib, kas Google'i crawlitavat sisu võib kasutada Gemini ja Vertex AI treenimiseks. Google Search indekseerimist ja järjestamist juhivad tavalised Googleboti reeglid.
Kui kaua läheb, kuni tulemusi näen? Reaalajas päring võib kajastada uut, indekseeritud, hästi struktureeritud lehte päevade jooksul. Treeningandmete seosed kuhjuvad kuude jooksul, kui usaldusväärsed mainimised üle veebi kogunevad. Just see asümmeetria ongi põhjus, miks teed tehnilise töö ära praegu.
Tee oma sait kergesti tsiteeritavaks: lisa oma toode aat.ee-le, et saada püsiv dofollow kirje, mida crawler'id ja assistendid saavad tegelikult lugeda, või võrdle kataloogi & GEO astmeid.