Ir para o conteúdo
Prime Solutions Raio-X IA

robots.txt para IA: como liberar o ChatGPT, o Claude e o Gemini

Como escrever o robots.txt para os robôs de IA: quais liberar, quais você pode bloquear sem sumir das respostas e exemplos prontos para copiar.

Por Prime Solutions · Atualizado em · 6 min de leitura

O robots.txt é um arquivo de texto na raiz do site (por exemplo, seusite.com.br/robots.txt) que diz aos robôs o que eles podem ler. Os robôs de IA, como os do ChatGPT, do Claude e do Perplexity, consultam esse arquivo antes de visitar as suas páginas. Se ele bloqueia esses robôs, o seu site pode ficar fora das respostas da IA.

Nem todo robô de IA é igual

As empresas de IA usam robôs diferentes para tarefas diferentes, e isso muda o que você deve liberar:

  • Robôs de busca e respostas (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot): levam o seu site para as respostas e os resultados. Bloquear esses robôs tira você das respostas.
  • Robôs de treino (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot): coletam conteúdo para treinar modelos. Bloquear é uma escolha legítima e não tira o seu site das respostas.
  • Robôs a pedido de uma pessoa (ChatGPT-User, Claude-User, Perplexity-User): abrem uma página quando alguém pede ao assistente. Como agem a pedido de uma pessoa, a OpenAI e a Perplexity avisam que eles podem não seguir o robots.txt.

A lista completa, com os links da documentação de cada empresa, está no guia Robôs de IA: quem são e o que cada um faz.

Como ver o seu robots.txt

Abra https://seusite.com.br/robots.txt no navegador. Cada bloco começa com User-agent: (para quem vale a regra) e segue com Allow: (pode) e Disallow: (não pode). Disallow: / bloqueia o site inteiro.

Fique atento a dois detalhes:

  • Um robô segue só o bloco mais específico que cita o nome dele. Se existe um bloco User-agent: GPTBot, o GPTBot ignora o bloco User-agent: *.
  • Se o arquivo não existe (erro 404), tudo está liberado. Se ele dá erro de servidor (5xx), muitos robôs entendem que tudo está bloqueado.

Exemplo 1: liberar todos os robôs de IA

Se você quer o seu site nas respostas e não se importa com o treino de modelos, o mais simples é não bloquear ninguém:

User-agent: *
Allow: /

Sitemap: https://seusite.com.br/sitemap.xml

Exemplo 2: aparecer nas respostas, mas não treinar modelos

Libera os robôs de busca e bloqueia só os de treino:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://seusite.com.br/sitemap.xml

O Google-Extended não é um robô de verdade: é só um nome que o Google lê no robots.txt para decidir se usa o seu conteúdo para treinar o Gemini. Segundo o Google, bloqueá-lo não afeta o seu site na Pesquisa Google.

Erros comuns

  • Nomes antigos. Regras para anthropic-ai ou Claude-Web não fazem nada: a Anthropic usa hoje ClaudeBot, Claude-SearchBot e Claude-User.
  • Bloquear tudo para "se proteger". Um User-agent: * com Disallow: / esconde o site de todos, inclusive do Google.
  • Liberar só a página inicial. Se as páginas internas estão bloqueadas, a IA conhece o seu nome, mas não os seus serviços e preços.
  • Robots.txt certo, firewall bloqueando. A Cloudflare e outros firewalls podem barrar os robôs antes que eles leiam o robots.txt. Veja o guia Cloudflare bloqueando a IA.

Onde editar

  • WordPress: plugins de SEO como Yoast e Rank Math têm um editor de robots.txt. Sem plugin, crie o arquivo na pasta principal do site.
  • Cloudflare: se a opção de robots.txt gerenciado estiver ligada, a Cloudflare acrescenta regras ao seu arquivo. Confira o resultado final no navegador.
  • Wix, Shopify e outras plataformas: procure "robots.txt" nas configurações de SEO.

Para a especificação completa, veja a RFC 9309 e o guia do Google sobre robots.txt.