# ==========================================
# REGRAS GERAIS E MOTORES DE BUSCA (SEO)
# ==========================================
User-agent: *
# Bloqueios de rotas privadas ou de baixo valor estratégico
Disallow: /admin/
Disallow: /login/
Disallow: /checkout/
Disallow: /carrinho/
Disallow: /*?s=*          # Evita indexação de páginas de busca interna
Disallow: /*?filter=*     # Evita indexação de filtros de parâmetros dinâmicos

# Permissões específicas (Exemplo para WordPress)
Allow: /wp-admin/admin-ajax.php

# ==========================================
# BOTS DE INTELIGÊNCIA ARTIFICIAL (GEO / AIO)
# ==========================================

# OpenAI (Treinamento de modelos GPT)
User-agent: GPTBot
Allow: /

# OpenAI (Navegação em tempo real do ChatGPT)
User-agent: ChatGPT-User
Allow: /

# Google (Treinamento do Gemini e recursos generativos)
User-agent: Google-Extended
Allow: /

# Perplexity AI (Motor de busca por IA)
User-agent: PerplexityBot
Allow: /

# Anthropic (Família Claude)
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Bot
Allow: /

# Common Crawl (Maior base de dados open-source usada para treinar dezenas de IAs)
User-agent: CCBot
Allow: /

# Diffbot (IA especializada em extração de dados e estruturação de páginas)
User-agent: Diffbot
Allow: /

# Omgilibot (Crawler focado em fóruns e discussões, usado por algumas IAs analíticas)
User-agent: omgilibot
Allow: /
User-agent: omgili
Allow: /

# ==========================================
# SITEMAP (O mapa do tesouro para bots)
# ==========================================
Sitemap: https://www.seusite.com.br/sitemap.xml