Technical SEO
Проверка robots.txt
Проверяет реальный robots.txt домена и показывает базовые сигналы, которые стоит перепроверить вручную.
Результат
Готов к проверке
Введите домен — файл будет запрошен по адресу /robots.txt.
robots.txt управляет обходом, а не гарантированным удалением URL из поиска
Я проверяю широкие Disallow, Sitemap и блокировки ресурсов, а цель правила сопоставляю с другими механизмами индексации.
01
Широкие Disallow
02
Sitemap и user-agent
03
Соответствие стратегии индексации
Практическая оговорка: Disallow и noindex решают разные задачи.
Методология и опыт Владимира Николаева →