AI 크롤러, robots.txt & llms.txt: 2026년 창업자를 위한 가이드

AI 어시스턴트가 당신을 인용하게 만드는 것은 콘텐츠 문제이기 전에 크롤러 문제입니다: 봇이 페이지를 가져오고 파싱할 수 없다면, 아무리 좋은 글을 써도 답변에 나타나지 않습니다. 좋은 소식은 기술적인 부분이 작다는 것입니다 — 몇 가지 robots.txt 규칙, 선택적으로 llms.txt 하나, 그리고 당신의 콘텐츠를 손쉽게 인용 가능하게 만드는 페이지 수준의 신호들입니다. 이 가이드는 바로 그것을, 실행해야 할 순서대로 다룹니다.

이 글은 aat.ee에서 이 파일들을 실제 프로덕션 환경에서 운영한 경험을 바탕으로 작성되었으며, 이 사이트를 서비스하는 AI 크롤러 규칙과 llms.txt도 포함합니다.

AI 어시스턴트가 당신을 인용하게 되는 과정

두 가지 경로가 있으며, 둘 다 최적화해야 합니다:

실시간 검색. 어시스턴트는 답변 시점에 페이지를 검색하거나 가져옵니다. 이때 크롤링 가능성, 최신성, 추출 가능한 구조가 모든 것을 결정합니다. 페이지가 차단되어 있으면 가져올 수 없습니다.
학습 데이터. "카테고리 → 대표 제품"이라는 연관성은 모델이 학습한 텍스트에서 학습되었습니다. 신뢰할 수 있는 출처에서 명확한 언어로 자주 언급되는 제품은 모델이 기본적으로 떠올리는 대상이 됩니다. 이 경로는 더 느리고 통제하기 어려우며, 웹 전반에 걸친 일관성이 중요한 이유입니다.

실시간 검색은 이번 주에 영향을 미칠 수 있는 경로입니다. 여기서부터 시작하세요.

1단계: AI 크롤러를 들여보내기

첫 번째 실패는 조용한 과잉 차단입니다. 많은 사이트가 "알 수 없는 봇"을 차단하거나 AI 사용자 에이전트를 차단하는 robots.txt를 복사해 놓고, 왜 자신들이 결코 언급되지 않는지 의아해합니다. 의도적으로 결정하세요.

누가 누구인지 파악하기

핵심적인 구분: 학습 크롤러와 실시간 가져오기 에이전트는 별개의 사용자 에이전트이며, 하나를 차단해도 다른 하나는 차단되지 않습니다.

사용자 에이전트	하는 일	차단하면
`GPTBot`	OpenAI 학습 크롤러	향후 학습 데이터에서 제외됨
`ChatGPT-User`	사용자 프롬프트에 페이지가 필요할 때 실시간 가져오기	ChatGPT가 브라우징하는 답변에서 당신의 페이지를 읽을 수 없음
`ClaudeBot`	Anthropic 크롤링	학습 및 검색 범위 감소
`Claude-User`	Claude 사용자가 트리거한 실시간 가져오기	Claude가 요청 시 페이지를 읽을 수 없음
`PerplexityBot`	Perplexity의 크롤러	Perplexity의 출처 기반 답변에서 당신이 빠짐
`Google-Extended`	Google이 크롤링한 콘텐츠의 Gemini/Vertex 학습 사용을 제어	Google 검색은 여전히 작동하지만 Gemini 학습 사용은 비활성화됨
`CCBot`	Common Crawl, 많은 모델이 학습하는 코퍼스	널리 사용되는 오픈 코퍼스에서 제외됨

추천받는 것이 목표라면, 두 부류 모두에 대해 기본값은 허용이어야 합니다. 실시간 답변에서 인용되면서도 학습은 거부할 특별한 이유가 있다면, 학습 에이전트(GPTBot, ClaudeBot, CCBot, Google-Extended)를 차단하고 실시간 가져오기 에이전트(ChatGPT-User, Claude-User, PerplexityBot)를 명시적으로 허용하세요. 그것은 일관된 입장입니다 — 다만 의도적으로 그렇게 하세요.

작동하는 robots.txt 패턴

반드시 차단해야 하는 경로(비공개 앱 영역, 관리자, 내부 도구)를 차단하고 나머지는 모두 크롤링되게 하세요. AI 에이전트에게도 다른 모든 이와 동일한 비공개 경로 목록을 유지하고, 사이트맵을 선언하세요:

User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml

User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10

User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /settings/
Sitemap: https://example.com/sitemap.xml

User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /dashboard/
Crawl-delay: 10

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10

실제 디버깅 시간을 절약해 주는 두 가지 참고 사항:

소스가 아니라 실제 파일을 테스트하세요. 브라우저에서 https://yoursite.com/robots.txt를 가져와 렌더링된 출력을 확인하세요 — 대부분의 프레임워크는 이를 코드에서 생성하며, 그 코드의 버그는 직접 보기 전까지는 보이지 않습니다.
Crawl-delay는 요청이지 보장이 아닙니다. 그래도 정중한 값을 설정할 가치는 있습니다: 작은 사이트에 대한 공격적인 크롤링은 호스팅 업체로부터 속도 제한을 받거나 차단당하는 원인이 됩니다.

제거해야 할 한 가지

URL 패턴을 차단하는 규칙이 있는데 그 이유가 확실하지 않다면, 그대로 두기 전에 AI 에이전트를 차단하고 있는지 확인하세요. 물려받은 robots.txt 규칙은 "Google에는 색인되지만 ChatGPT가 결코 이름을 언급하지 않는" 가장 흔한 원인 중 하나입니다.

2단계: llms.txt 제공하기 (제 역할을 한다면)

llms.txt는 제안된 관례일 뿐 표준이 아닙니다: /llms.txt에 위치한 Markdown 파일로, 모델에게 당신의 사이트에 대한 큐레이션된 지도를 제공합니다 — 당신이 무엇인지, 가장 중요한 페이지는 무엇인지, 무엇을 크롤링하고 재사용해도 되는지. 특정 어시스턴트가 이를 읽는다는 보장은 없으며, 크롤링 가능한 페이지를 대체할 것이라고 기대해서도 안 됩니다.

그래도 게시할 가치는 있습니다. 두 가지 이유에서입니다: 약 한 시간이면 되고, 당신의 콘텐츠를 어떻게 귀속시키길 원하는지를 평이한 언어로 명시할 수 있는 유일한 곳이기 때문입니다. 이는 이를 읽기로 선택하는 모든 시스템에 유용하며, 당신의 크롤링 정책을 깔끔하게 공개적으로 선언하는 것이기도 합니다.

유용한 llms.txt는 다섯 부분으로 구성됩니다:

# llms.txt - AI/LLM Crawling Instructions for example.com

# About
> example.com is a [one-line description of what the site is and who it is for].

# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)

# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas

# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"

# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xml

# llms.txt - AI/LLM Crawling Instructions for example.com

# About
> example.com is a [one-line description of what the site is and who it is for].

# Key pages
- [Product directory](https://example.com/categories)
- [Pricing](https://example.com/pricing)
- [Blog](https://example.com/blog)
- [Latest launches](https://example.com/trending)

# Crawling permissions
## Allowed
- Homepage, product pages, blog articles, categories, legal pages
## Restricted
- API endpoints, dashboard, settings, admin areas

# Usage policy
- AI training: with attribution
- Indexing and retrieval: allowed
- Attribution: cite "according to example.com"

# Contact
- Website: https://example.com
- Sitemap: https://example.com/sitemap.xml

실제 라우트에 맞게 조정하세요. 가장 흔한 실수는 당신이 가지고 있지 않은 사이트를 설명하는 템플릿을 게시하는 것입니다 — 오래된 경로는 파일이 없는 것보다 나쁩니다.

llms.txt가 변명거리가 되게 하지 마세요

이 관례는 마치 뒤집을 수 있는 스위치처럼 느껴져서 유혹적입니다. 그렇지 않습니다. 실시간으로 페이지를 검색하는 모델은 당신의 매니페스트가 아니라 당신의 _페이지_를 읽습니다. 귀속 명확성을 위해 llms.txt를 게시한 다음, 페이지 수준의 작업을 하러 가세요.

3단계: 페이지를 인용 가능하게 만들기

여기서 인용이 실제로 획득됩니다. 검색 시스템은 자기 완결적인 진술을 추출하므로, 페이지를 그것을 건네주도록 구조화하세요.

맨 위에 한 문장 답변. 제목 다음 첫 문단은 평이한 서술형 언어로 그 대상을 한 문장으로 정의해야 합니다. 그 문장이 답변에 그대로 옮겨지는 것입니다.
질문 형태의 제목. 사람들이 실제로 입력하는 표현 — "X는 얼마인가요?", "X가 Y보다 나은가요?" — 을 사용해 제목과 답변이 일치하게 하세요.
비교 표. 표는 비교 질문에 직접 대응하며 불균형적으로 많이 인용됩니다. 좁게(3–4열) 유지하고 완전하게 작성하세요.
진짜 FAQ. 직접적인 답변이 있는 5~8개의 실제 질문. 질문 형태를 띤 마케팅 문구가 아닙니다.
날짜와 버전. "2026년 7월 기준"은 검색 시스템에 페이지가 최신임을 알려줍니다. 날짜가 없는 페이지는 날짜가 있는 페이지와의 경쟁에서 불리합니다.
다른 곳과 일치하는 사실. 사이트, 디렉터리 등록 정보, 프로필 전반에 걸쳐 동일한 제품명, 동일한 한 줄 소개, 동일한 카테고리, 동일한 표준 URL. 불일치는 모델의 확신을 낮추며 — 확신하는 모델이 제품을 언급합니다.

4단계: 모델이 당신의 도메인을 선호할 이유를 주기

크롤링 가능성은 고려 대상이 되게 하고, 신뢰성은 인용되게 합니다. 입력 요소는 화려하지 않지만 복리로 쌓입니다:

영구적이고 관련성 있는 등록 정보. 구조화된 디렉터리 페이지는 파싱하기 쉽고 출처로 자주 사용됩니다 (dofollow 디렉터리 백링크).
권위 있고 주제에 맞는 사이트에서의 언급. 언급이 얼마나 많은지보다 어디에 나타나는지가 더 중요합니다 (도메인 레이팅과 AI 가시성).
페이지 전반의 일관성. 모든 곳에서 동일한 사실이므로 조정할 필요가 없습니다.
최신성. 실제 일정에 따라 핵심 페이지를 업데이트하세요; 검색은 최신 콘텐츠를 선호합니다 (GEO/AIEO 플레이북).

90분 체크리스트

/robots.txt를 실제로 가져와 크롤러가 읽는 방식으로 읽어보기
학습 및 실시간 가져오기 에이전트가 의도적으로 허용(또는 차단)되었는지 확인
/sitemap.xml이 존재하고, 유효하며, 실제 페이지를 나열하는지 검증
정확한 경로와 귀속 문구로 /llms.txt 게시 또는 업데이트
가장 중요한 다섯 페이지 맨 위에 한 문장 답변 추가
주요 제품 페이지에 비교 표 하나와 FAQ 하나 추가
사이트, 등록 정보, 프로필 전반에 걸쳐 이름, 한 줄 소개, 카테고리가 일치하는지 확인

한 번 해두면, 이후의 지속적인 작업은 최신성 유지뿐입니다.

FAQ

llms.txt란 무엇인가요? /llms.txt에 위치한 Markdown 파일에 대한 제안된 관례 — 표준이 아닙니다 — 로, AI 시스템에게 당신의 사이트에 대한 큐레이션된 지도를 제공합니다: 당신이 무엇인지, 핵심 페이지, 크롤링 권한, 그리고 어떻게 귀속되길 원하는지. 위의 2단계 템플릿을 참고하세요. 게시하는 데 약 한 시간이 걸리며, 어떤 어시스턴트도 이를 읽는다고 보장되지 않습니다.

llms.txt가 SEO에 도움이 되나요? 직접적으로는 아닙니다. 검색 엔진은 매니페스트가 아니라 페이지의 순위를 매기며, llms.txt는 오늘날 순위 입력 요소가 아닙니다. 그 가치는 귀속 명확성과 공개적인 크롤링 선언에 있습니다 — 이를 읽기로 선택하는 AI 시스템에 유용하고, 검색 순위에는 무해합니다.

AI 어시스턴트가 나를 인용하게 하려면 llms.txt가 필요한가요? 아니요. 이는 읽힘이 보장되지 않는 선택적 관례입니다. 실제로 당신을 인용되게 하는 것은 크롤링 가능한 페이지와 추출 가능한 콘텐츠입니다; llms.txt는 귀속 명확성을 위한 저비용 보너스로 취급하세요.

GPTBot이나 ClaudeBot을 차단해야 하나요? 당신의 콘텐츠가 학습에 사용되는 것을 의도적으로 원하지 않는 경우에만 그렇습니다. 학습 크롤러를 차단하면 모델이 당신의 카테고리 연관성을 학습하는 빈도가 줄어듭니다; 일반적으로 실시간 가져오기 에이전트가 답변에서 당신의 페이지를 읽는 것을 막지는 않습니다. 추천받는 것이 목표라면, 둘 다 허용하는 것이 실용적인 기본값입니다.

ClaudeBot과 Claude-User의 차이는 무엇인가요? ClaudeBot은 Anthropic의 크롤러로, 학습 데이터를 구축하고 갱신하는 데 사용됩니다. Claude-User는 지금 누군가 Claude에게 그것에 대해 물었기 때문에 페이지를 가져오는 에이전트입니다. 두 번째를 차단하면 학습은 영향받지 않은 채 실시간 답변에서 당신이 빠집니다.

Google-Extended가 검색 순위에 영향을 미치나요? 아니요. Google-Extended는 Google이 크롤링한 콘텐츠가 Gemini 및 Vertex AI 학습에 사용될 수 있는지를 제어합니다. Google 검색 색인 및 순위는 일반 Googlebot 규칙에 의해 관리됩니다.

결과를 보기까지 얼마나 걸리나요? 실시간 검색은 새롭고 색인되며 잘 구조화된 페이지를 며칠 내에 반영할 수 있습니다. 학습 데이터 연관성은 웹 전반에 걸쳐 신뢰할 수 있는 언급이 축적되면서 몇 달에 걸쳐 구축됩니다. 이러한 비대칭성이 바로 지금 기술적인 작업을 해야 하는 이유입니다.

사이트를 인용하기 쉽게 만드세요: 크롤러와 어시스턴트가 실제로 읽을 수 있는 영구적인 dofollow 등록 정보를 위해 aat.ee에 제품을 등록하거나, 디렉터리 및 GEO 등급을 비교해 보세요.

2026년 창업자를 위한 AI 크롤러 가이드: robots.txt, llms.txt, 그리고 인용되기