Простыми словами
Робот Google или Яндекса не сидит на сайте бесконечно. Он тратит ограниченное время и ресурсы, чтобы зайти на страницы, проверить изменения и добавить их в индекс. Чем сайт крупнее и быстрее, тем больше страниц робот готов обработать.
Для визитки на десять страниц это не проблема. Для интернет-магазина с десятками тысяч товаров и фильтров — вполне реальная.
Как это работает
На бюджет влияют скорость ответа сервера, популярность сайта, частота обновлений и качество страниц. Если сервер отвечает медленно или выдаёт ошибки, робот снижает активность.
Бюджет расходуется впустую на дубли страниц, бесконечные комбинации фильтров, служебные адреса, битые ссылки и цепочки редиректов. Робот обходит их, а до новых карточек не доходит.
Зачем это бизнесу
Для магазина это деньги: товар, который не проиндексирован, не продаётся из поиска. Если после добавления новинки она не появляется в выдаче неделями, вероятно, робот занят мусором.
Оптимизация бюджета сводится к порядку: закрыть от индексации лишнее, убрать дубли, ускорить сервер и дать роботу чистую карту сайта.
Что важно учесть
Проверьте файл robots.txt и карту сайта: в карте должны быть только страницы, которые вы хотите видеть в поиске. Лишние адреса — прямой расход бюджета, а чистая карта помогает роботу быстрее находить обновления.
Пример из практики
Магазин электроники в Алматы позволил индексацию всех сочетаний фильтров — получились сотни тысяч почти одинаковых страниц. После закрытия фильтров в robots.txt и настройки canonical новые товары стали попадать в поиск за считанные дни вместо недель.
Частые ошибки
- Оставлять открытыми для робота страницы поиска и сортировки
- Не следить за ошибками 404 и 500 в отчётах Search Console
- Держать в sitemap страницы, закрытые от индексации
- Допускать длинные цепочки редиректов
- Медленный сервер, на котором робот просто не успевает обойти страницы