Как поисковик узнаёт о странице
Робот находит новые адреса тремя путями: по ссылкам с других страниц, из карты сайта и из прямых уведомлений вроде отправки адреса на проверку. Чем больше таких сигналов, тем быстрее страница попадёт в очередь на обход.
После обхода начинается второй этап — решение, добавлять ли страницу в индекс. Если она дублирует чужие, пуста или слабее соседних, её могут не принять, и тут никакая отправка не поможет.
Что сделать после публикации
Проверьте страницу
Код ответа 200, нет noindex, canonical указывает на себя, текст виден без запуска скриптов.
Поставьте внутренние ссылки
Добавьте ссылку из меню, из родительского раздела и из двух-трёх связанных статей или услуг.
Обновите карту сайта
Новый адрес должен появиться в sitemap.xml автоматически. Проверьте, что карта отправлена в Search Console и Вебмастер.
Запросите проверку адреса
В Search Console используйте инструмент проверки URL и кнопку запроса индексирования. В Яндекс Вебмастере есть переобход страниц.
Подключите IndexNow
Протокол позволяет сообщать об изменениях Яндексу, Bing и другим поисковикам. Google им не пользуется.
Причины, из-за которых страницу не принимают
- Страница почти пустая или повторяет другую
- Нет ни одной ссылки на неё с сайта
- Закрыта в robots.txt или имеет noindex
- Основной контент грузится скриптами, которые робот не выполняет
- Сервер часто отвечает ошибками или долго думает
- Сайт очень новый и ещё не получил доверия
Что реально влияет на скорость
- Ссылки с главной
- Страницы, на которые ведёт главная, обходят чаще остальных. Новое важное можно показать там.
- Регулярные обновления
- Если на сайте часто появляется новое, роботы приходят чаще.
- Быстрый сервер
- Если сервер отвечает медленно, робот обходит меньше страниц за визит.
Не отправляйте одно и то же по кругу
Повторные запросы на проверку одного адреса ничего не ускоряют. Если через неделю страница не в индексе, ищите причину по отчёту проверки URL, а не нажимайте кнопку снова.
Когда проблема в качестве, а не в скорости
Статусы «просканирована, но пока не проиндексирована» и «обнаружена, но не проиндексирована» означают, что поисковик знает адрес, но не считает его достаточно полезным. Для сайтов с сотнями однотипных страниц это частая ситуация.
Решение — улучшать страницы, а не торопить робота: добавить уникальные факты, примеры, цены, ответы на вопросы; убрать почти идентичные копии; усилить внутренние ссылки на важное. Через 2–4 недели после правок проверьте статус ещё раз.
Индексация и бюджет сканирования на больших сайтах
Чем больше страниц, тем важнее порядок. Поисковик выделяет каждому сайту ограниченный объём обхода, и если он тратится на дубли, служебные страницы и бесконечные адреса с параметрами, до новых полезных страниц робот добирается позже. Для небольшого сайта это не проблема, для магазина или каталога с тысячами страниц — вполне.
Поэтому уберите лишнее из индекса, сократите цепочки редиректов, следите за скоростью ответа сервера и держите карту сайта чистой: только рабочие адреса с кодом 200. Тогда новые страницы подхватываются быстро, а обновления старых замечаются заметно раньше.