llms.txt, 90 päeva hiljem: aus tagasivaade

Juunis lasime aat.ee-s välja llms.txt — üks marsruudifail, saidi olulisema sisu markdown-kaart, mida serveeritakse aadressil aat.ee/llms.txt. See võttis umbes tunni. Üheksakümmend päeva hiljem on see aus ülevaade sellest, mida see tegi ja ei teinud, sest suurem osa sellest, mida llms.txt kohta loete, on kas spetsifikatsiooni ümberjutustus või müügikõne, ja vahepealne — mõõdetud tulemused päris tootmissaidilt — on hõre.

Mis on llms.txt, ühes lõigus

llms.txt on pakutud konventsioon (mitte standard — sellest hiljem): markdown-fail teie domeeni juures, mis annab keelemudelitele kureeritud kaardi teie saidist. Kui sitemap.xml on ammendav URL-ide loend crawlerite jaoks, siis llms.txt on lühike, prioriseeritud lugemisnimekiri assistentidele — mis on oluline, kuidas seda nimetatakse ja kus see asub. Panus on selles, et agendid eelistavad kureeritud kokkuvõtet pimesi roomamisele.

Mida me välja lasime

Rakendus on meelega igav: üks dünaamiline marsruut, mis koostab kolm asja — staatilise roomamispoliitika eessõna, 15 viimast launch'i, 10 viimast avaldatud artiklit ja kategooriate loendi — markdowniks, kusjuures üks escape-funktsioon mähib kõik kasutaja kontrollitud sisu.

// User text (project names, article titles) must not break out of the
// markdown link or inject headings into an agent-facing file.
function mdSafe(text: string): string {
  return text
    .replace(/[\r\n]+/g, " ")
    .replace(/[[\]()]/g, "")
    .trim()
}

const projectLinks = recentProjects
  .map((p) => `- [${mdSafe(p.name)}](${baseUrl}/projects/${p.slug})`)
  .join("\n")

// User text (project names, article titles) must not break out of the
// markdown link or inject headings into an agent-facing file.
function mdSafe(text: string): string {
  return text
    .replace(/[\r\n]+/g, " ")
    .replace(/[[\]()]/g, "")
    .trim()
}

const projectLinks = recentProjects
  .map((p) => `- [${mdSafe(p.name)}](${baseUrl}/projects/${p.slug})`)
  .join("\n")

See puhastamise samm on ainus peenem osa. Projektide nimed ja pealkirjad tulevad kasutajatelt ja LLM-i torudest; manustatud reavahetused või sulud võimaldaksid kirjel sisestada pealkirja või võltslingi faili, mida assistendid on kutsutud usaldama kaardina.

Mida logid näitasid

Kolm tähelepanekut üheksakümne päeva serverilogidest ja viitajaandmetest.

Agendid tõmbavad seda tõesti. Näeme perioodilisi päringuid /llms.txt-le teadaolevatelt assistentide crawlerite user-agent'idelt, palju harvemini kui robots.txt, kuid järjekindlalt olemas. Ükskõik milline on spetsifikatsiooni staatus, tõmbamiskäitumine on reaalne.

Mõõdetavat viitamise imet ei ole. AI-assistentide viitamised aat.ee-le kasvasid kvartali jooksul — kuid kasv järgib meie avaldamise rütmi, mitte llms.txt-i kasutuselevõttu. Me ei suuda omistada ühtegi sessiooni agendile, kes oleks faili lugenud, ja me oleme umbusklikud igaühe suhtes, kes väidab siin täpset omistamist: assistendid tõmbavad, seejärel vastavad allikate segust, ja viide kannab harva llms.txt-kujulist viitajat.

See sundis kasulikku inventuuri tegema. Ootamatu kasu: kureeritud kaardi kirjutamine tähendab otsustamist, mis on teie saidi tipp. Meie marsruut renderdab reaalajas andmeid, nii et fail püsib ajakohane — kuid distsipliin "mis kuulub lugemisnimekirja" parandas kategooriate struktuuri rohkem kui fail ise.

Ebamugav osa: see on endiselt ettepanek

llms.txt-i taga ei ole ratifitseeritud standardit. MIME-tüübi üle vaieldakse (text/markdown vs text/plain), assistendid ei ole dokumenteeritult seda lugemas, ja miski ei lähe katki, kui teil seda pole. Iga postitus, mis ütleb teile, et see on 2026. aastal "hädavajalik AI SEO jaoks", on tõenditest ees.

Meie seisukoht üheksakümne päeva järel: kulu on nii madal, et oodatav väärtus püsib positiivne, samamoodi nagu hästi korraldatud fuajee on kontorihoonele positiivne. See ei vii tulemust üksi, kuid kui agent läheb orientatsiooni otsima, eelistaksite, et ta leiaks kureeritud kaardi, mitte seina.

Kas peaksite selle ehitama?

Otsustustabel, ausalt:

• Kui teie saidil on alla ~50 lehekülje selgete pealkirjadega — marginaalne. Teie sitemap ja navigatsioon räägivad juba loo ära.
• Kui teil on andmepõhine sait (launch'id, kirjed, artiklid, dokumentatsioon — sisu, mis muutub iganädalaselt) — jah. Genereeritud llms.txt on üks marsruudifail, püsib automaatselt ajakohane ja annab assistentidele rämpspostivaba kokkuvõtte, mida teie sitemap ei suuda.
• Kui teile öeldi, et see tõstab AI-edetabeli kohti — ei. See on kaart, mitte meta-silt.

Ülaltoodud rakendusmuster — koosta, puhasta, serveeri — sobib igale raamistikule, millel on marsruutimiskiht. Hoidke see genereerituna, mitte käsitsi kirjutatuna, hoidke kasutaja tekst puhastatud ja hoidke oma ootused kalibreeritud.