robots.txt
Generar archivo robots
Regla 1
User-agent: * Allow: /
Preguntas frecuentes
¿Qué es robots.txt?
Robots.txt es un archivo que indica a los rastreadores de motores de búsqueda qué páginas o secciones de tu sitio no deben rastrearse. Se coloca en el directorio raíz de tu sitio web.
¿Robots.txt bloquea las páginas de aparecer en resultados de búsqueda?
No, robots.txt solo previene el rastreo, no la indexación. Las páginas aún pueden aparecer en resultados si están enlazadas desde otros sitios. Usa la etiqueta noindex para prevenir indexación.
¿Cuál es la diferencia entre Disallow y Noindex?
Disallow en robots.txt previene el rastreo pero las páginas aún pueden indexarse. La etiqueta noindex previene la indexación pero permite el rastreo. Usa ambos para bloqueo completo.