Robots.txt — это текстовый файл в корне сайта, который содержит правила обхода для поисковых и других роботов. Через него можно разрешать или запрещать сканирование отдельных разделов, служебных страниц, параметров, результатов поиска, фильтров и технических файлов. Обычно файл доступен по адресу site.ru/robots.txt.
Важно понимать: robots.txt управляет обходом, а не гарантированным удалением страницы из индекса. Если URL закрыт от сканирования, но на него есть внешние ссылки, поисковая система всё равно может знать о его существовании. Для удаления из индекса обычно используют другие механизмы: noindex, корректные коды ответа, canonical или удаление страницы.
Зачем нужен robots.txt
- ограничивать обход технических и мусорных разделов;
- экономить краулинговый бюджет на крупных сайтах;
- закрывать параметры, фильтры, сортировки и внутренний поиск;
- указывать путь к sitemap.xml;
- разделять правила для разных поисковых роботов;
- снижать риск индексации технических дублей.
Как robots.txt связан с SEO
Ошибки в robots.txt могут резко повлиять на SEO. Одна неверная директива способна закрыть от обхода весь сайт, важный каталог, изображения, CSS, JavaScript или страницы товаров. Поэтому файл нужно проверять перед публикацией и после каждого переезда, редизайна или смены CMS.
| Задача | Что учитывать |
|---|---|
| Закрыть фильтры | Не закрыть важные посадочные страницы |
| Закрыть служебные разделы | Проверить, что они не нужны для рендера страницы |
| Указать sitemap | Путь должен вести на актуальную карту сайта |
| Настроить правила для Яндекса | Учитывать Clean-param и особенности обработки параметров |
| Закрыть тестовый сайт | Не перенести запрет на рабочий домен |
Robots.txt и GEO / ИИ-поиск
Для GEO robots.txt важен как инструмент доступа. Если важные статьи, FAQ, изображения, JS или разделы закрыты от обхода, поисковые и ИИ-системы могут хуже понимать сайт. При этом владелец может отдельно управлять доступом некоторых AI-ботов, если политика проекта требует ограничить использование контента.
Частые ошибки
- закрыть весь сайт после переноса с тестового домена;
- путать запрет обхода с удалением из индекса;
- закрывать CSS и JavaScript, нужные для рендера;
- оставлять в sitemap закрытые URL;
- закрывать разделы, которые должны ранжироваться;
- использовать правила без проверки в инструментах вебмастеров;
- не обновлять файл после изменения структуры сайта.
Чек-лист проверки
- Открыть robots.txt на рабочем домене.
- Проверить, нет ли запрета на весь сайт.
- Сверить закрытые разделы с SEO-структурой.
- Проверить доступность CSS, JS и изображений.
- Проверить путь к sitemap.xml.
- Сравнить robots.txt с canonical и meta robots.
- Протестировать важные URL в Яндекс Вебмастере и Google Search Console.
- Зафиксировать изменения перед публикацией.
Комментарий экспертаRobots.txt — файл, где маленькая ошибка может стоить большого трафика. Его нельзя править вслепую. Перед публикацией нужно проверить важные страницы, карту сайта, CSS, JS, параметры и тестовые запреты. Для SEO и ИИ-поиска главное — не закрыть то, что должно быть доступно и приносить видимость.
FAQ
Не всегда. Он запрещает обход, но страница может остаться известной поисковой системе по ссылкам. Для удаления из индекса нужны другие методы.
В корне сайта. Для основного домена файл обычно доступен по адресу site.ru/robots.txt.
Да, но для приватных данных одного robots.txt недостаточно. Доступ должен быть защищён авторизацией и серверными ограничениями.
Да, это полезная практика. Так роботам проще найти актуальную карту сайта.
Он определяет, какие роботы могут обходить сайт. Если важный контент закрыт, ИИ-системы могут не получить доступ к материалам.
Связанные термины
- краулинг;
- индексация;
- sitemap.xml;
- meta robots;
- noindex;
- Clean-param;
- краулинговый бюджет;
- AI-боты.
