robots.txt
Robots-Datei generieren
Regel 1
User-agent: * Allow: /
Häufig gestellte Fragen
Was ist robots.txt?
Robots.txt ist eine Datei, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche Ihrer Website nicht gecrawlt werden sollen. Sie wird im Stammverzeichnis Ihrer Website platziert.
Blockiert robots.txt Seiten vom Erscheinen in Suchergebnissen?
Nein, robots.txt verhindert nur das Crawling, nicht die Indexierung. Seiten können trotzdem in Suchergebnissen erscheinen, wenn sie von anderen Seiten verlinkt werden. Verwenden Sie das noindex-Meta-Tag.
Was ist der Unterschied zwischen Disallow und Noindex?
Disallow in robots.txt verhindert Crawling, aber Seiten können trotzdem indexiert werden. Das noindex-Meta-Tag verhindert Indexierung, erlaubt aber Crawling. Verwenden Sie beide für vollständige Blockierung.