# smartdatashop.kr robots.txt
#
# 정책 (2026-05-14 GEO 정책 갱신):
#   - 일반 검색 봇 (Google, Bing, Yeti/NaverBot, DuckDuckBot 등) 전체 허용
#   - /admin/ , /uploads/ 비공개
#   - AI 봇 차등 정책 (B안 — GEO 트래픽 확보 + 학습 차단):
#     · 학습형 (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Amazonbot 등) → Disallow
#       이유: 한국 1차 출처 데이터 큐레이션 자산이 무상 학습으로 흡수되는 것을 방지 (ADR 0005)
#     · 검색 인용형 (OAI-SearchBot, Perplexity-User, ChatGPT-User) → Allow
#       이유: GEO 트래픽 확보. 인용 시 사이트 link 클릭 가능 (학습 X)

# 일반 검색 봇 — 전체 허용 (단 /admin, /uploads 제외)
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /uploads/

# 한국 검색 — 명시적 Allow
User-agent: Yeti
Allow: /

User-agent: NaverBot
Allow: /

User-agent: Googlebot-News
Allow: /

# ─── AI 검색 인용형 봇 — 허용 (실시간 인용, 학습 X) ────────────
# 사용자가 ChatGPT / Perplexity 검색 시 본 사이트가 답변 출처로 인용됨
# (인용 시 link 클릭으로 본 사이트 트래픽 발생)

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Perplexity-User
Allow: /

# ─── AI 학습 크롤러 — 차단 (Risk #5) ──────────────────────────────
# 본 사이트의 큐레이션·해설·시나리오 자산은 학습 데이터로 흡수 X

User-agent: GPTBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# Sitemaps
Sitemap: https://smartdatashop.kr/sitemap-index.xml
Sitemap: https://smartdatashop.kr/news-sitemap.xml
Sitemap: https://smartdatashop.kr/image-sitemap.xml