Простыми словами
Файл лежит по адресу вашсайт.kz/robots.txt и читается поисковыми роботами в первую очередь. В нём правила для разных роботов: какие каталоги закрыть от сканирования, какие открыть, где лежит карта сайта. Правила записываются директивами User-agent, Disallow и Allow.
Важно понимать: это просьба, а не защита. Добросовестные роботы поисковиков следуют ей, но злоумышленники и некоторые программы игнорируют. Закрыть секретную информацию таким способом нельзя — для этого нужны пароли и настройки доступа.
Как это работает
Типичный набор для бизнес-сайта: закрыть служебные разделы вроде админки, корзины, результатов внутреннего поиска и страниц с параметрами сортировки, чтобы робот не тратил время на дубли. Остальное оставить открытым и указать путь к sitemap.xml директивой Sitemap.
Поисковики кэшируют файл и перечитывают его периодически, поэтому изменения вступают в силу не сразу. После правки полезно проверить файл в панелях для вебмастеров: там показывается, какие адреса разрешены или запрещены конкретному роботу.
Зачем это владельцу бизнеса
Правильный файл экономит «краулинговый бюджет» — время, которое робот готов потратить на ваш сайт. На больших каталогах это влияет на скорость индексации. Для небольших сайтов важнее не навредить: главная проблема — случайно закрытые важные страницы.
Классическая ошибка — оставить настройки разработки: на тестовом сайте стоит запрет всего сайта, и после запуска файл забывают заменить. Сайт месяцами не попадает в выдачу, а владелец не понимает причину.
Пример из практики
После запуска нового сайта клиника в Павлодаре не появлялась в поиске уже два месяца. Оказалось, что в файле осталось правило «Disallow: /», поставленное на время разработки. После замены файла страницы проиндексировались за пару недель.
Частые ошибки
- Оставить запрет всего сайта после тестирования
- Закрывать файлами стилей и скриптов, мешая роботу увидеть страницу
- Считать robots.txt защитой от доступа
- Не указывать карту сайта
- Перепутать запрет сканирования и запрет индексации