robots.txt
Gerar arquivo robots
Regra 1
User-agent: * Allow: /
Perguntas Frequentes
O que é robots.txt?
Robots.txt é um arquivo que diz aos rastreadores de mecanismos de busca quais páginas ou seções do seu site não devem ser rastreadas. É colocado no diretório raiz do seu site.
O robots.txt bloqueia páginas de aparecer nos resultados de busca?
Não, robots.txt apenas previne rastreamento, não indexação. Páginas ainda podem aparecer nos resultados se linkadas de outros sites. Use a tag noindex para prevenir indexação.
Qual a diferença entre Disallow e Noindex?
Disallow no robots.txt previne rastreamento mas páginas ainda podem ser indexadas. A tag noindex previne indexação mas permite rastreamento. Use ambos para bloqueio completo.