robots.txt
Генерация файла robots
Правило 1
User-agent: * Allow: /
Часто задаваемые вопросы
Что такое robots.txt?
Robots.txt — это файл, который указывает поисковым роботам, какие страницы или разделы сайта не следует сканировать. Размещается в корневой директории сайта.
Блокирует ли robots.txt появление страниц в результатах поиска?
Нет, robots.txt только предотвращает сканирование, не индексацию. Страницы могут появляться в результатах, если на них ссылаются другие сайты. Используйте noindex для предотвращения индексации.
В чём разница между Disallow и Noindex?
Disallow в robots.txt предотвращает сканирование, но страницы могут быть проиндексированы. Noindex мета-тег предотвращает индексацию, но позволяет сканирование. Используйте оба для полной блокировки.