Kuidas AI-roomajad tegelikult sinu saidini jÔuavad, mis kuulub robots.txt-i ja llms.txt-i ning millised lehel olevad signaalid otsustavad, kas assistent saab sind tsiteerida.
Boost your product's visibility and credibility
AI-assistendi poolt tsiteerituks saamine on ennekĂ”ike crawler'i probleem ja alles seejĂ€rel sisu probleem: kui bot ei saa lehte kĂ€tte ja seda parsida, ei jĂ”ua ĂŒkski hea tekst vastusesse. Hea uudis on see, et tehniline kiht on vĂ€ike â paar robots.txt reeglit, valikuliselt llms.txt ja hulk lehe tasandi signaale, mis muudavad sinu sisu triviaalselt tsiteeritavaks. See juhend katab tĂ€pselt selle, sellises jĂ€rjekorras, nagu peaksid tegema.
See on kirjutatud kogemusest, mis pÀrineb nende failide produktsioonis haldamisest aat.ee-l, sealhulgas AI-crawler'i reeglid ja llms.txt, mis seda saiti teenindavad.
On kaks teed ja peaksid optimeerima mÔlema jaoks:
Reaalajas pÀring on see, mida saad sel nÀdalal mÔjutada. Alusta sealt.
Esimene tĂ”rge on vaikne ĂŒleblokeerimine. Paljud saidid keelavad "tundmatud botid" vĂ”i kopeerivad robots.txt-i, mis blokeerib AI user-agente â ja siis imestavad, miks neid kunagi ei mainita. Otsusta teadlikult.
Kriitiline eristus: treening-crawler'id ja reaalajas pĂ€ringu agendid on eraldi user-agendid ning ĂŒhe blokeerimine ei blokeeri teist.
| User agent | Mida see teeb | Kui blokeerid selle |
|---|---|---|
GPTBot | OpenAI treening-crawler | Oled tulevastest treeningandmetest vÀlja jÀetud |
ChatGPT-User | Reaalajas pÀring, kui kasutaja prompt vajab lehte | ChatGPT ei saa sinu lehte vastustes, mis sirvivad, lugeda |
ClaudeBot | Anthropicu crawlimine | VÀhenenud treeningu- ja pÀringukate |
Claude-User | Reaalajas pÀring, mille kÀivitab Claude'i kasutaja | Claude ei saa lehte nÔudmisel lugeda |
PerplexityBot | Perplexity crawler | Oled Perplexity allikaviidatud vastustest puuduv |
Google-Extended | Kontrollib Gemini/Vertex treeningut Google'i crawlitava sisuga | Google Search töötab endiselt, kuid Gemini treeningkasutus on keelatud |
CCBot | Common Crawl, korpus, millel paljud mudelid treenivad | VĂ€listatud laialdaselt kasutatavast avatud korpusest |
Kui sinu eesmĂ€rk on, et sind soovitataks, peaks vaikimisi olema luba mĂ”lemale klassile. Kui sul on konkreetne pĂ”hjus keelduda treenimisest, olles samal ajal reaalajas vastustes tsiteeritav, blokeeri treeningagendid (GPTBot, ClaudeBot, CCBot, Google-Extended) ja luba selgesĂ”naliselt reaalajas pĂ€ringu agendid (ChatGPT-User, Claude-User, PerplexityBot). See on sidus positsioon â lihtsalt tee seda meelega.
Blokeeri rajad, mida pead (privaatsed rakenduse pinnad, admin, sisemised tööriistad) ja lase kÔigel muul crawliida. Hoia sama privaatsete radade nimekiri AI-agentidele nagu kÔigile teistele ja deklareeri oma sitemap:
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10
User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10
Kaks mÀrkust, mis sÀÀstavad tÔelist silumisaega:
https://yoursite.com/robots.txt brauseris ja kinnita renderdatud vĂ€ljund â enamik raamistikke genereerib selle koodist ja viga selles koodis on nĂ€htamatu, kuni vaatad.Crawl-delay on palve, mitte garantii. Selle viisaka vÀÀrtuse seadmine on siiski vÀÀrt: vĂ€ikese saidi agressiivne crawlimine on viis, kuidas jĂ”uad rate-limiti vĂ”i oma hosti poolt blokeerimiseni.Kui sul on reegel, mis keelab URL-mustri ja sa pole kindel, miks see seal on, kontrolli, kas see blokeerib AI-agenti, enne kui selle sisse jĂ€tad. PĂ€ritud robots.txt reeglid on ĂŒks levinumaid pĂ”hjusi, miks "oleme Google'is indekseeritud, aga ChatGPT ei nimeta meid kunagi."
llms.txt on pakutud konventsioon, mitte standard: Markdown-fail aadressil /llms.txt, mis annab mudelitele kureeritud kaardi sinu saidist â mis sa oled, sinu olulisemad lehed ja mida vĂ”ib crawliida ja taaskasutada. Pole mingit garantiid, et ĂŒkski konkreetne assistent seda loeb, ja sa ei peaks eeldama, et see asendab crawlitavaid lehti.
Seda tasub siiski avaldada kahel pĂ”hjusel: see maksab umbes tunni ja see on ainus koht, kus saad lihtsas keeles öelda, kuidas soovid, et sinu sisu omistataks. See on kasulik igale sĂŒsteemile, mis otsustab seda lugeda, ja see on puhas avalik avaldus sinu crawlimispoliitikast.
Kasulikul llms.txt-l on viis osa:
# llms.txt - AI/LLM Crawling Instructions for example.com
# About
> example.com is a [one-line description of what the site is and who it is for].
# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)
# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas
# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"
# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xml
Kohanda see oma tegelike radadega. KĂ”ige levinum viga on avaldada mall, mis kirjeldab saiti, mida sul pole â aegunud rajad on hullemad kui faili puudumine.
Konventsioon on vĂ”luv, sest tundub nagu lĂŒliti, mida saad klĂ”psata. See ei ole. Mudel, mis toob reaalajas lehti, loeb sinu lehti, mitte sinu manifesti. Avalda llms.txt omistamise selguse jaoks, seejĂ€rel mine tee lehe tasandi tööd.
Siin tsiteeringud tegelikult vĂ”idetakse. PĂ€ringusĂŒsteemid ekstraktiivad isesisalduvaid vĂ€iteid, seega struktureeri oma lehed need ĂŒle andma.
Crawlitavus paneb sind kaalumisele; usaldusvÀÀrsus paneb sind tsiteerima. Sisendid on ilmetud ja need kuhjuvad:
/robots.txt reaalajas ja loe seda nii, nagu crawler loeks/sitemap.xml on olemas, kehtiv ja loetleb sinu tegelikud lehed/llms.txt tĂ€psete radade ja omistamisreagaTee seda ĂŒks kord ja jooksev töö on lihtsalt vĂ€rskus.
Kas mul on vaja llms.txt-i, et AI-assistendid mind tsiteeriksid?
Ei. See on valikuline konventsioon, millel pole garanteeritud lugejaskonda. Crawlitavad lehed ja ekstraktitav sisu on see, mis sind tegelikult tsiteerituks teeb; kÀsitle llms.txt-i madala kuluga boonusena omistamise selguse jaoks.
Kas peaksin blokeerima GPTBot vĂ”i ClaudeBot? Ainult siis, kui sa teadlikult ei soovi, et sinu sisu treenimiseks kasutatakse. Treening-crawler'ite blokeerimine vĂ€hendab seda, kui sageli mudelid Ă”pivad sinu kategooriaseost; see ĂŒldiselt ei takista reaalajas pĂ€ringu agentidel sinu lehti vastuses lugemast. Kui sinu eesmĂ€rk on, et sind soovitataks, on mĂ”lema lubamine pragmaatiline vaikimisi valik.
Mis vahe on ClaudeBot-il ja Claude-User-il?
ClaudeBot on Anthropicu crawler, mida kasutatakse treeningandmete loomiseks ja vĂ€rskendamiseks. Claude-User on agent, mis toob lehe sellepĂ€rast, et inimene kĂŒsis Claude'ilt selle kohta praegu. Teise blokeerimine eemaldab sind reaalajas vastustest, jĂ€ttes treeningu mĂ”jutamata.
Kas Google-Extended mÔjutab minu otsingureitinguid?
Ei. Google-Extended kontrollib, kas Google'i crawlitavat sisu vÔib kasutada Gemini ja Vertex AI treenimiseks. Google Search indekseerimist ja reastamist juhivad tavalised Googlebot reeglid.
Kui kaua lĂ€heb, kuni tulemusi nĂ€en? Reaalajas pĂ€ring vĂ”ib kajastada uut, indekseeritud, hĂ€sti struktureeritud lehte pĂ€evade jooksul. Treeningandmete seosed kuhjuvad kuude jooksul, kui usaldusvÀÀrsed mainimised ĂŒle veebi kogunevad. Just see asĂŒmmeetria ongi pĂ”hjus, miks teed tehnilise töö kohe Ă€ra.
Tee oma sait kergesti tsiteeritavaks: lisa oma toode aat.ee-le, et saada pĂŒsiv dofollow kirje, mida crawler'id ja assistendid saavad tegelikult lugeda, vĂ”i vĂ”rdle kataloogi ja GEO tasemeid.