robots.txt: практическое руководство

robots.txt управляет рекомендациями для обхода URL поисковыми роботами. Он не является надёжным способом удалить уже известную страницу из индекса и не заменяет авторизацию.

Что делает robots.txt

Файл находится в корне домена и содержит правила для роботов. Через User-agent задаётся робот, через Disallow — пути, которые не рекомендуется обходить, а директива Sitemap помогает указать карту сайта.

Типовые ошибки

Самая опасная ошибка — случайно закрыть от обхода весь сайт или важные разделы после переноса с тестового домена. Вторая частая проблема — закрывать CSS и JavaScript, из-за чего робот хуже видит итоговую страницу.

robots.txt и индексирование

Если поисковая система уже знает URL из внешних ссылок или других источников, запрет обхода не гарантирует исчезновение адреса из результатов. Для управления индексированием используют корректные HTTP-коды, meta robots и другие механизмы в зависимости от задачи.

Минимальный пример

User-agent: *
Disallow: /admin/
Sitemap: https://example.ru/sitemap.xml