Чем дубли вредят
Когда один и тот же текст находится на двух адресах, поисковик не знает, какой показывать. Ссылки и поведение людей распределяются между копиями, позиции размываются, а в индекс иногда попадает не тот адрес: с параметрами, без «www» или со слэшем в конце.
Отдельная проблема — бюджет сканирования. Если сайт большой, робот тратит время на копии, а до новых страниц добирается позже.
Откуда берутся дубли
- Адрес с www и без
- Сайт открывается по двум адресам, и ни один не перенаправляет на другой.
- http и https
- После установки сертификата старые адреса остались доступными.
- Слэш в конце
- Страницы /uslugi и /uslugi/ работают как разные.
- Параметры
- Метки UTM, сортировка, фильтры и номера сессий создают бесконечное число адресов.
- Страницы печати и версии для телефонов
- Отдельные копии страницы, которые остались от старой версии сайта.
- Одна страница в разных разделах
- Товар доступен через несколько категорий и открывается по разным адресам.
Как выбрать способ борьбы
301 редирект
Если лишний адрес не нужен посетителям: www, http, слэш, старые страницы. Перенаправляйте на основной.
canonical
Если копия нужна людям, но поисковику нужна одна: страницы с фильтрами, UTM-ссылки. В коде страницы указывается основной адрес.
noindex
Для служебных страниц: корзина, личный кабинет, результаты внутреннего поиска. Страница открывается, но в поиск не попадает.
Объединение страниц
Если два раздела отвечают на один вопрос, объедините их в один сильный и настройте переход со второго.
Не закрывайте дубли только в robots.txt
Запрет в robots.txt не удаляет страницу из индекса и не передаёт её вес. Если адрес уже в поиске, используйте редирект или noindex, иначе поисковик не увидит инструкцию.
Как найти дубли самому за час
- Откройте сайт по четырём вариантам: http, https, с www и без — должен работать один, остальные перенаправляют
- В Search Console загляните в отчёт «Страницы» и раздел с причиной «Дубликат»
- Введите в Google site:вашсайт.kz и пролистайте адреса с параметрами
- Сравните заголовки страниц в обходчике вроде Screaming Frog: одинаковые title часто выдают дубли
- Проверьте, что в коде главных страниц указан canonical на самих себя
- Убедитесь, что адреса с UTM-метками указывают на чистый основной адрес
Как выглядит canonical
Это строка в разделе head страницы: ссылка на основной адрес, например адрес категории без параметров сортировки. Поисковик воспринимает её как рекомендацию, а не команду, поэтому адрес должен отдавать код 200, быть доступным и действительно содержать тот же контент.
Типичная ошибка — указывать canonical на главную или на страницу, которая отличается по содержанию. Тогда сигнал игнорируется или, что хуже, из индекса пропадает нужная страница.
Дубли в сайтах на конструкторах и CMS
Конструкторы и популярные CMS часто создают дубли автоматически: страницы тегов и архивов по датам, версии для печати, адреса с номером страницы, один товар в нескольких категориях. Владелец о них не знает, пока не заглянет в отчёт Search Console.
Проверьте настройки платформы: многие системы позволяют закрыть архивы и теги от индексации одной галочкой, а canonical для товаров включается в настройках SEO. Если платформа не даёт управлять этими параметрами, это аргумент при выборе или смене платформы.