Простыми словами
Поисковый робот находит страницы по ссылкам и картам сайта, скачивает их, анализирует содержание и сохраняет в индексе — огромной базе. Только после этого страница может участвовать в ответах на запросы. Этап находки называют сканированием, а добавление в базу — индексацией.
Не каждая найденная страница попадёт в индекс. Робот может решить, что страница дублирует другую, слишком похожа на уже известные или не несёт ценности, и отложить её. Поэтому у многих сайтов в базе меньше страниц, чем на самом деле.
Как это работает
Проверить состояние можно в Яндекс Вебмастере и Google Search Console: там видно, сколько страниц загружено, какие исключены и по какой причине. Часто встречаются статусы «найдена, но не проиндексирована», «дубль» или «закрыта от индексации».
Ускоряют процесс простыми мерами: правильная внутренняя перелинковка, актуальная карта сайта, уникальные тексты, быстрая загрузка, отсутствие технических ошибок. Для важных страниц можно вручную отправить запрос на переиндексацию, но для массового ускорения лучше работать с качеством сайта.
Зачем это владельцу бизнеса
Для нового сайта индексация — первая задача после запуска. Если страницы услуг не попали в базу, никакие тексты и реклама на них не помогут привлечь поисковый трафик. Особенно важно проверять индексацию после переезда и обновления структуры.
На сайтах с сотнями страниц, например по городам и услугам, поисковик индексирует их постепенно, и важно, чтобы каждая страница была полезной и отличалась от остальных. Шаблонные страницы с подменой одного слова рискуют остаться вне индекса.
Пример из практики
Клининговая компания в Караганде запустила страницы по районам, но через месяц в поиске было лишь несколько из тридцати. В Вебмастере увидели статус «дубль»: тексты различались только названием. После добавления районных особенностей, цен и примеров работ страницы начали проходить в индекс.
Частые ошибки
- Закрыть сайт от индексации на время разработки и забыть открыть
- Публиковать десятки одинаковых страниц
- Не добавить сайт в панели вебмастеров
- Рассчитывать на мгновенное появление в выдаче
- Не проверять статусы после переезда