Яндекс Вебмастер: как пользоваться и что проверять владельцу сайта

С чего начать работу с Яндекс Вебмастером

Если сайт уже добавлен в Яндекс Вебмастер, сначала откройте сводку и диагностику. Не нужно сразу менять robots.txt, sitemap.xml или метатеги. Сначала посмотрите, что именно показывает сервис.

Я обычно проверяю три вещи: есть ли ошибки по сайту, что происходит с важными страницами и когда робот обходил их последний раз. Уже после этого понятно, куда смотреть дальше.

Вебмастер не продвигает сайт сам по себе. Он показывает данные Яндекса о сайте. По ним можно найти техническую причину, если нужная страница не появляется в поиске или неожиданно из него пропала.

Для Google есть отдельный сервис. Я разобрал как пользоваться Google Search Console, проверять URL, индексирование, sitemap и поисковые запросы.

Как правильно добавить сайт

Добавляйте ту версию сайта, которая реально используется как основная. Если сайт работает на HTTPS без www, в Вебмастере должен быть именно этот адрес.

Перед добавлением проверьте, что HTTP и другие варианты домена ведут на основной адрес. Иначе легко запутаться и смотреть данные не по той версии сайта.

После добавления Яндекс попросит подтвердить права. Для этого можно использовать файл на сайте, метатег или запись DNS. Выберите один способ и после подтверждения не удаляйте его без причины. Яндекс может проверять права повторно.

Диагностика сайта

В диагностике собраны найденные Яндексом проблемы и рекомендации. Это первое место, куда я бы зашел после добавления сайта.

Если там написано, что не открывается robots.txt, нужно проверять robots.txt. Если ошибка относится к sitemap.xml, проверяем карту сайта. Не надо одновременно менять половину сайта только потому, что в Вебмастере появилась одна ошибка.

После исправления сообщение может исчезнуть не сразу. Роботу нужно снова зайти на сайт и обработать новую версию страницы или файла.

Проверка конкретной страницы

Когда вопрос касается одного URL, используйте инструмент Проверка страницы. Это один из самых полезных разделов Вебмастера. Он показывает код ответа, доступность страницы для робота и ее состояние в поиске.

Для обычной рабочей страницы нужен нормальный ответ сервера. Чаще всего это 200. Если робот получает 404, 403, 500 или другую ошибку, сначала исправляется эта проблема.

Бывает, что страница нормально открывается в вашем браузере, а робот получает другой ответ. Поэтому проверка через Вебмастер полезнее, чем простое открытие URL у себя на компьютере.

Если страница не находится в поиске, дальше проверяются robots.txt, noindex, canonical, редиректы и сам текст страницы. Для одной страницы есть отдельная инструкция как проверить индексацию URL в Яндекс Вебмастере. Причины, которые могут мешать индексации, подробно разобраны в статье почему сайт не индексируется в Яндексе.

Страницы в поиске и причины исключения

В разделе Страницы в поиске можно увидеть, какие URL участвуют в поиске, а какие были исключены. Самое полезное здесь не общее количество страниц, а причина по конкретному адресу.

Например, страница может быть исключена из-за noindex, запрета в robots.txt, редиректа, ошибки загрузки или другого canonical. Если причина понятна, не нужно гадать и править все подряд.

Не каждый исключенный URL нужно возвращать в поиск. Служебные страницы, параметры, сортировки и другие дубли часто вообще не должны там находиться. Проверяйте в первую очередь те страницы, которые нужны людям и должны получать поисковый трафик.

Мониторинг важных страниц

В Мониторинг важных страниц я бы добавлял главную страницу, основные услуги, важные категории и другие URL, потерю которых из поиска нельзя пропустить.

По таким страницам можно видеть статус в поиске, дату обхода и ответ сервера. Это особенно полезно после обновления сайта, смены CMS, переноса на другой хостинг или массовых SEO-правок.

Не нужно добавлять туда каждый URL большого магазина. Выберите действительно важные страницы и контролируйте их отдельно.

Как проверить sitemap.xml

Sitemap нужен, чтобы передать Яндексу актуальные адреса основных страниц сайта. После публикации новой статьи или услуги ее URL добавляют в карту сайта, если страница должна индексироваться.

В Вебмастере видно, когда sitemap был загружен и обработан. Если адрес файла не менялся, удалять его и добавлять заново после каждого изменения не надо. Можно отправить уже добавленный файл на повторную обработку.

Отдельный инструмент анализа sitemap.xml проверяет сам файл. Если карта не обрабатывается, смотрите код ответа, правильность адресов и структуру XML.

Пошаговую проверку статуса, даты загрузки, числа URL и ошибок я вынес в отдельную статью "Как проверить sitemap.xml в Яндекс Вебмастере".

Наличие URL в sitemap не исправит noindex, неправильный canonical или ошибку сервера. Карта сайта только сообщает поисковику об адресе.

Как проверить robots.txt

В Вебмастере можно проверить robots.txt и понять, разрешен ли обход конкретного URL. Это проще и надежнее, чем читать большой файл вручную и пытаться понять, под какое правило попала страница.

После переноса сайта с тестового домена на рабочий robots.txt нужно проверять обязательно. Очень неприятная ошибка выглядит просто: сайт уже открыт людям, а запрет для поискового робота остался.

robots.txt отвечает за обход URL. Это не замена canonical, noindex и редиректам. Эти настройки решают разные задачи.

Проверка ответа сервера

Если Вебмастер пишет, что страницу не удалось загрузить, проверьте ответ сервера. Так можно увидеть, какой код получает робот Яндекса и что именно ему отдается.

Проблема может быть в хостинге, HTTPS, редиректе, защите от ботов или настройках сервера. В такой ситуации нет смысла переписывать Title и Description. Сначала нужно сделать страницу доступной для робота.

Когда отправлять страницу на переобход

Отдельную инструкцию по этому инструменту смотрите в статье "Переобход страниц в Яндекс Вебмастере: когда использовать". Там разобрано, какие URL стоит отправлять и что проверить до отправки.

Переобход нужен после публикации новой важной страницы или после заметного исправления старой. Например, вы убрали noindex, исправили canonical, изменили содержимое или вернули нормальный ответ сервера.

Переобход не гарантирует попадание в поиск и не поднимает позиции сам по себе. Он только сообщает Яндексу, что страницу желательно посетить еще раз.

Если URL закрыт в robots.txt или продолжает отдавать ошибку, повторная отправка ничего не решит. Сначала исправьте причину, потом отправляйте страницу.

Поисковые запросы, показы и клики

В Вебмастере можно смотреть, по каким запросам страницы показываются в Яндексе и получают переходы. Это полезно не только для технической проверки, но и для SEO.

По таким данным видно, какие страницы уже получают показы, где есть клики и какие запросы связаны с конкретным URL. Не нужно оценивать страницу только по одной позиции. Смотрите запросы, показы, клики и саму страницу вместе.

Если материал получает показы по нужной теме, но почти не получает переходов, можно отдельно проверить Title, Description и то, насколько страница отвечает запросу человека.

Внутренние и внешние ссылки

Вебмастер также показывает данные по ссылкам. Для внутренних ссылок это дополнительная проверка структуры сайта. Важная страница не должна быть спрятана так, что на нее почти невозможно перейти с других разделов.

Во внешних ссылках полезно смотреть, куда они ведут. Если хороший внешний источник ссылается на старый удаленный URL, нужно проверить, есть ли нормальный редирект на актуальную страницу.

Само количество ссылок не является целью. Случайные покупные ссылки не делают сайт полезнее и не заменяют нормальную структуру и контент.

Уведомления и контроль после изменений

Включите уведомления хотя бы для важных проблем и ключевых страниц. Тогда не придется каждый день открывать все отчеты вручную.

После крупных изменений я бы проверял Вебмастер чаще. Это касается переноса сайта, смены URL, обновления CMS, изменения robots.txt, sitemap.xml и массовых правок карточек или категорий.

Когда сайт работает стабильно, достаточно периодически смотреть диагностику, важные страницы и изменения в индексации.

Чем Вебмастер отличается от Яндекс Метрики

Вебмастер показывает, что происходит между сайтом и поисковой системой. Здесь смотрят обход, индексацию, ошибки, страницы в поиске и технические сигналы.

Метрика показывает, что делают посетители уже после перехода на сайт. Там смотрят источники, просмотры, цели, корзину, оформление заказа и другие действия.

Если страница не попала в поиск, сначала нужен Вебмастер. Если нужно понять, что посетители делают на сайте, нужна Метрика. Про аналитику отдельно есть статья о Яндекс Метрике для интернет-магазина.

Что я проверяю после публикации новой страницы

Сначала открываю сам URL и проверяю, что он работает. Потом смотрю canonical, robots, внутреннюю ссылку и наличие страницы в sitemap.xml.

После этого отправляю новый URL на переобход. Когда Яндекс снова зайдет на страницу, проверяю ее статус в Вебмастере. Если она не попала в поиск, уже смотрю конкретную причину.

Отправлять один и тот же URL на переобход много раз подряд нет смысла. Если есть техническая ошибка, она от этого не исчезнет.

Какие ошибки не нужно исправлять наугад

Если Вебмастер показывает проблему, сначала найдите страницу или файл, к которому она относится. Потом проверьте причину. Только после этого меняйте сайт.

Не нужно массово переписывать URL, robots.txt, canonical и метатеги "на всякий случай". Такие правки могут сделать хуже, особенно если сайт уже находится в поиске.

Если одновременно накопилось несколько непонятных проблем, можно начать с SEO-аудита сайта. Тогда отдельно проверяются индексация, ответы сервера, sitemap.xml, robots.txt, canonical, дубли, структура и внутренние ссылки.