Как проверить sitemap.xml в Яндекс Вебмастере

Что показывает раздел с файлами Sitemap

Если sitemap.xml уже добавлен в Яндекс Вебмастер, его состояние можно посмотреть в разделе "Индексирование" - "Файлы Sitemap". Там видно адрес файла, статус, дату последней загрузки и количество ссылок, которые Яндекс нашел в карте сайта.

Этого уже достаточно, чтобы понять простую вещь: Яндекс видит актуальный файл или еще показывает старую версию. Например, если вы добавили новые страницы, а число ссылок в Вебмастере осталось прежним, файл еще не был обработан заново.

Общая работа с Вебмастером разобрана отдельно в статье "Яндекс Вебмастер: как пользоваться и что проверять владельцу сайта". Здесь речь только про sitemap.xml.

Что означает статус "OK"

Статус "OK" означает, что Яндекс смог загрузить файл и его структура подходит для обработки. Рядом обычно отображается дата последней загрузки.

Но сам статус "OK" не говорит, что все URL из файла уже находятся в поиске. Sitemap сообщает поисковой системе об адресах страниц. Решение об индексации каждой страницы Яндекс принимает отдельно.

Если в sitemap есть страница с noindex, неправильным canonical, ошибкой сервера или редиректом не туда, наличие URL в карте сайта само по себе это не исправит.

Как понять, что Яндекс прочитал новую версию файла

После изменения sitemap.xml смотрите на две вещи: дату последней загрузки и число ссылок в файле.

Допустим, раньше в карте было 40 URL, вы добавили еще пять новых страниц и загрузили новый файл на сайт. Если Вебмастер по-прежнему показывает старую дату и 40 ссылок, значит новая версия еще не обработана.

Когда Яндекс загрузит обновленный sitemap, дата изменится. Если структура файла изменилась, число найденных ссылок тоже должно соответствовать актуальной версии.

Нужно ли удалять sitemap и добавлять его заново

Нет, если адрес файла остался тем же. Например, sitemap как был доступен по адресу /sitemap.xml, так и остался.

Удалять его из Вебмастера после каждого изменения не нужно. Яндекс регулярно проверяет уже добавленные файлы на обновления.

Если хочется ускорить повторную обработку, в разделе "Файлы Sitemap" можно нажать значок обновления напротив нужного файла. После этого Яндекс поставит его в очередь на повторную загрузку.

Сколько ждать повторной обработки

Обновление данных в Вебмастере не происходит мгновенно. После ручного сообщения об обновлении Яндексу все равно нужно снова получить файл и обработать его.

Я не советую через несколько минут удалять sitemap, менять его адрес или создавать новый файл только из-за того, что дата еще не поменялась. Сначала дайте роботу время получить обновленную версию.

Если файл долго не обновляется, тогда уже нужно проверять его доступность и ошибки.

Как проверить сам sitemap.xml

В Яндекс Вебмастере есть отдельный инструмент "Анализ файлов Sitemap". Он проверяет содержимое карты сайта и показывает ошибки в структуре XML.

Файл можно проверить по URL. Для обычного сайта достаточно указать полный адрес, например https://example.ru/sitemap.xml, и запустить проверку.

Такую проверку полезно делать после крупных изменений в структуре сайта, после переноса на другой домен или если Вебмастер сообщает об ошибке обработки файла.

Проверьте код ответа сервера

Sitemap должен нормально открываться и возвращать код 200. Если сервер отдает 404, 403, 500 или другой проблемный ответ, робот не сможет нормально использовать файл.

В браузере sitemap может казаться доступным, но для робота действовать другие правила. Поэтому при проблемах стоит использовать инструмент "Проверка ответа сервера" в Вебмастере.

Также проверьте, что файл не закрыт от обхода правилами сервера или robots.txt.

Что должно быть внутри sitemap

В карту сайта стоит добавлять канонические URL страниц, которые действительно нужны поиску. Это могут быть услуги, статьи, категории, карточки товаров и другие полезные страницы сайта.

Не стоит специально набивать sitemap служебными адресами, параметрами сортировки, дублями или страницами, которые вы сами закрыли от индексации.

Если одна и та же страница доступна по нескольким адресам, сначала нужно определить основной URL. Уже его добавляют в sitemap.

Почему в sitemap лучше указывать только основной адрес страницы

Представим, что одна страница открывается с параметром и без него, а canonical указывает на обычный адрес без параметра. В sitemap в таком случае логично оставлять основной канонический URL.

Когда карта сайта содержит дубли, она начинает передавать поисковику лишние адреса. Это не помогает индексации и усложняет контроль за сайтом.

Что проверить после добавления новой статьи или услуги

После публикации новой страницы я проверяю, что она открывается с кодом 200, имеет правильный canonical, не закрыта от индексации и доступна по внутренним ссылкам.

После этого URL добавляется в sitemap.xml. Если файл уже подключен в Вебмастере, удалять его не нужно. Можно сообщить Яндексу об обновлении файла и отдельно отправить важную новую страницу на переобход.

Про ручной переобход есть отдельная статья "Переобход страниц в Яндекс Вебмастере: когда использовать".

Почему sitemap не заменяет внутренние ссылки

Карта сайта помогает роботу узнать об URL, но нормальная структура сайта все равно нужна.

Новая статья должна быть доступна из блога, услуга - из раздела услуг или связанной страницы. Если важная страница существует только в sitemap и на нее нигде нельзя перейти внутри сайта, это слабая структура.

Поэтому sitemap я рассматриваю как дополнительный способ передачи адресов, а не как замену меню и внутренней перелинковке.

Что означает ошибка или другой статус

Если вместо "OK" появился другой статус, сначала смотрите его описание в Вебмастере. Причина может быть в редиректе, недоступности файла, неправильном формате или временной ошибке загрузки.

Не нужно сразу менять весь sitemap. Сначала проверьте конкретную причину: открывается ли сам файл, отвечает ли сервер кодом 200 и проходит ли он инструмент "Анализ файлов Sitemap".

Почему sitemap может отображаться среди исключенных страниц

Иногда XML-файл можно увидеть среди исключенных страниц. Само по себе это не означает, что карта сайта перестала работать.

Sitemap не является обычной страницей для поисковой выдачи. Важно смотреть именно его состояние в разделе "Файлы Sitemap" и результаты анализа файла.

Если число ссылок в Вебмастере не совпадает с файлом

Сначала откройте актуальный sitemap на сайте и посчитайте, действительно ли новые URL уже находятся в нем. Потом сравните дату последней загрузки в Вебмастере.

Если дата старая, Яндекс просто еще не прочитал новую версию. Если дата новая, а число адресов неожиданное, проверьте файл через анализ Sitemap и убедитесь, что XML составлен без ошибок.

Когда sitemap особенно важен

Карта сайта особенно полезна для больших сайтов, глубоких разделов и страниц, до которых роботу трудно быстро добраться по обычным ссылкам.

Для небольшого сайта с хорошей структурой робот часто находит страницы и без sitemap. Но файл все равно помогает контролировать актуальный набор URL и быстрее сообщать поисковику о структуре сайта.

Что я проверяю при проблемах с sitemap

Сначала открываю сам файл и смотрю, доступен ли он. Потом проверяю код ответа 200, правильность домена и протокола, структуру XML и наличие нужных URL.

После этого смотрю статус и дату последней загрузки в Яндекс Вебмастере. Если файл изменился, но Вебмастер показывает старые данные, отправляю его на повторную обработку и жду обновления.

Так проще найти реальную проблему, чем удалять sitemap, создавать новый адрес и менять robots.txt без понятной причины.