Чем отличаются два файла
Sitemap.xml — это список адресов, которые вы хотите показать поисковику, с датами обновления. Он помогает быстрее находить новые страницы, особенно на больших сайтах и у проектов, на которые мало ссылок. Файл лежит в корне сайта и подаётся в Search Console и Яндекс Вебмастер.
Robots.txt — инструкция для роботов, куда заходить нельзя. Он закрывает служебные разделы: корзину, личный кабинет, результаты внутреннего поиска, дубли с параметрами. Важно понимать: закрытие в robots.txt не удаляет страницу из выдачи, если на неё есть внешние ссылки. Для полного исключения используют метатег noindex.
Что должно попасть в sitemap
- Только страницы с кодом ответа 200 и без перенаправлений
- Только страницы, которые вы хотите видеть в поиске
- Канонические адреса без лишних параметров и меток
- Актуальная дата последнего изменения, а не сегодняшняя у всех страниц
- Не более 50 тысяч адресов в одном файле, иначе делят на несколько
- Разные языковые версии, если они есть, со ссылками друг на друга
Что закрывать в robots.txt
Закрывайте то, что не нужно в поиске и только тратит бюджет обхода: корзину и оформление заказа, личный кабинет, страницы фильтров с бесконечными комбинациями, страницы печати, результаты поиска по сайту, тестовые копии. Не закрывайте файлы стилей и скриптов: роботу нужно видеть страницу так же, как её видит пользователь.
В файле нужно указать адрес карты сайта строкой Sitemap. Во время разработки часто ставят запрет на весь сайт, чтобы поисковики не увидели недоделанные страницы. Самая дорогая ошибка — забыть снять этот запрет при запуске: сайт неделями не индексируется, и никто не понимает почему.
Проверка после запуска
Откройте адреса файлов
ваш-сайт/robots.txt и ваш-сайт/sitemap.xml должны открываться и содержать актуальные данные.
Убедитесь, что запрета нет
В robots.txt не должно быть строки «Disallow: /» для всех роботов на боевом сайте.
Отправьте карту в панели вебмастера
В Google Search Console и Яндекс Вебмастере добавьте адрес sitemap и проверьте статус обработки.
Просмотрите отчёты об индексации
Страницы, исключённые «по тегу noindex» или «заблокированные в robots.txt», не должны быть среди важных.