noindex, nofollow e noai: as instruções que escondem o seu site
Uma linha esquecida no código pode tirar o seu site do Google e das respostas de IA. Veja como achar noindex, nofollow, noai e X-Robots-Tag e quando removê-los.
Por Prime Solutions · Atualizado em · 4 min de leitura
Além do robots.txt, cada página pode dar instruções aos robôs por conta própria. Elas ficam escondidas no código ou na resposta do servidor, e uma delas, esquecida, basta para tirar o site do Google e das respostas de IA.
Onde essas instruções ficam
- Na página, numa tag dentro do
<head>:<meta name="robots" content="noindex, nofollow">
Ela pode valer para todos (robots) ou só para um robô (googlebot, por exemplo). - Na resposta do servidor, num cabeçalho HTTP que o visitante não vê:
X-Robots-Tag: noindex
O que cada instrução faz
| Instrução | O que pede | Efeito |
|---|---|---|
noindex | Não incluir a página nos resultados | A página some do Google e das buscas por IA |
nofollow | Não seguir os links da página | Os robôs têm mais dificuldade para achar as outras páginas |
none | O mesmo que noindex, nofollow | Some e não leva a lugar nenhum |
noai, noimageai | Não usar o texto ou as imagens em IA | Não são oficiais; alguns robôs respeitam, outros ignoram |
Como elas aparecem sem ninguém perceber
- WordPress: a opção "Evitar que mecanismos de busca indexem este site", em Configurações > Leitura, é marcada durante a construção do site e esquecida depois do lançamento.
- Plugins de SEO configurados para não indexar a página inicial, as categorias ou o site todo.
- Site de homologação copiado para produção com o
noindexque protegia a versão de testes. - Servidor ou CDN acrescentando
X-Robots-Taga todas as respostas.
Como conferir
- Abra a sua página inicial, clique com o botão direito e escolha "Exibir código-fonte da página".
- Procure (Ctrl+F) por
robotse veja o que está emcontent="...". - Para o cabeçalho, abra as ferramentas do desenvolvedor (F12), vá em Rede, recarregue a página, clique na primeira linha e procure
x-robots-tag.
O Raio-X IA faz essas duas verificações na sua página inicial automaticamente.
Quando manter o noindex
Em páginas que não devem aparecer em buscas, ele está certo: área do cliente, carrinho, páginas de obrigado, resultados de busca interna e páginas de teste. O problema é ele estar na página inicial ou nas páginas que apresentam o seu negócio.
Detalhes no guia do Google sobre a tag meta robots.