Как проверить индексацию страницы в Яндекс Вебмастере

Что именно нужно проверить

Когда нужно понять, есть ли конкретная страница в поиске Яндекса, не стоит ориентироваться только на поиск по адресу или оператор site:. Эти способы могут помочь для быстрой проверки, но точнее смотреть данные в Яндекс Вебмастере.

Для одного URL я сначала проверяю саму страницу, потом смотрю ее статус в разделе "Страницы в поиске". Если страница важная, ее можно добавить в мониторинг. Такой порядок помогает быстро отделить техническую ошибку от обычной задержки обновления данных.

В этой статье разбираю именно проверку одного адреса. Общая работа с сервисом описана отдельно в материале "Яндекс Вебмастер: как пользоваться и что проверять владельцу сайта".

Где находится проверка страницы

Откройте Яндекс Вебмастер, выберите нужный сайт и перейдите в "Индексирование" - "Проверка страницы". Введите полный URL, который хотите проверить.

Важно проверять именно тот адрес, который должен участвовать в поиске. Если основная версия сайта работает по HTTPS без www, не нужно подставлять HTTP или www просто для проверки. Сначала убедитесь, что используете реальный канонический URL страницы.

После проверки Вебмастер показывает данные, которые получил робот. Среди них есть код ответа сервера, состояние страницы в поиске и информация о том, что доступно роботу.

Первое, на что смотрю - код ответа

Для обычной рабочей страницы чаще всего нужен код 200. Он означает, что сервер отдал страницу без ошибки.

Если вместо 200 робот получает 404, 403, 500 или другой проблемный ответ, сначала нужно исправить это. Переписывать Title, Description или текст страницы в такой ситуации бессмысленно. Поисковый робот должен нормально получить сам документ.

Отдельно проверяйте редиректы. Если старый URL должен перенаправлять на новый, это нормально. Но если рабочая страница неожиданно уходит на другой адрес, нужно разобраться, почему это происходит.

Что означает статус "В поиске"

Если Вебмастер показывает, что страница находится в поиске, Яндекс знает этот URL и допускает его к участию в поисковой выдаче. Это не означает, что страница обязана занимать высокие позиции по нужным вам запросам.

Индексация и позиции - разные вещи. Страница может быть в поиске, но находиться далеко по запросу. В таком случае уже проверяются содержание, соответствие запросу, структура сайта, внутренние ссылки и другие факторы SEO.

Если страница в поиске есть, не нужно каждый день отправлять ее на переобход. Переобход используют после реальных изменений или исправлений.

Что делать, если страница не в поиске

Сам факт отсутствия страницы в поиске еще не говорит, что сайт сломан. Нужна причина.

Сначала посмотрите статус URL в Вебмастере. Затем проверьте, нет ли запрета в robots.txt или meta robots, какой canonical указан в исходном коде, нет ли редиректа и какой ответ получает робот.

Если страница новая, Яндекс мог еще не успеть ее обработать. Если она раньше была в поиске, а потом пропала, нужно проверить причину исключения и последние изменения на сайте.

Подробный разбор технических причин есть в статье "Почему сайт не индексируется в Яндексе".

Раздел "Страницы в поиске"

Для проверки не одного URL, а общей картины откройте "Индексирование" - "Страницы в поиске". Здесь можно посмотреть страницы, которые участвуют в поиске, и страницы, которые были исключены.

У исключенного URL Вебмастер показывает статус. Именно его нужно читать перед тем, как менять сайт. Причины бывают разными, и одно решение для всех случаев не подходит.

Например, страница может быть закрыта от индексирования, признана неканонической, перенаправлять на другой адрес или быть исключена как малоценная или маловостребованная. В каждом случае проверка будет своей.

Если Вебмастер показывает noindex

Проверьте исходный код страницы и HTTP-заголовки. Запрет может быть задан через meta robots или X-Robots-Tag.

Если страница действительно должна участвовать в поиске, запрет нужно убрать. После исправления можно отправить URL на переобход и дождаться нового визита робота.

Если noindex стоит на служебной странице специально, ничего исправлять не надо. Не каждая страница сайта должна находиться в поиске.

Если проблема связана с robots.txt

Проверьте, разрешен ли обход конкретного URL. В большом robots.txt легко не заметить правило, которое закрывает целый раздел.

После переноса сайта или запуска новой версии особенно важно убедиться, что на рабочем домене не остались ограничения от тестовой копии.

Не нужно открывать в robots.txt все подряд. Служебные URL, технические параметры и некоторые дубли могут быть закрыты намеренно. Проверять нужно конкретную страницу и задачу, которую она решает.

Если Вебмастер показывает неканоническую страницу

Откройте исходный код и найдите rel="canonical". Посмотрите, какой адрес там указан.

Если canonical ведет на другую страницу намеренно, Яндекс может использовать именно ее как основную. Это нормальная ситуация для дублей и некоторых технических URL.

Если важная уникальная страница по ошибке указывает canonical на чужой URL, настройку нужно исправить. После этого проверьте страницу еще раз и отправьте ее на переобход.

Если страница признана малоценной или маловостребованной

Здесь простого технического переключателя нет. Сначала нужно понять, чем эта страница отличается от других и зачем она нужна посетителю.

Проверьте, не повторяет ли она другой URL, есть ли на ней собственная полезная информация, соответствует ли она отдельному поисковому запросу и есть ли на нее нормальные внутренние ссылки.

Не стоит дописывать случайный текст только ради объема. Если две страницы отвечают на один и тот же вопрос почти одинаково, иногда правильнее объединить их, а не пытаться заставить обе попасть в поиск.

Как проверить содержимое, которое видит робот

В инструменте проверки страницы можно посмотреть, какое содержимое доступно роботу. Это важно для сайтов, где часть данных формируется скриптами или зависит от настроек сервера.

Если в браузере вы видите полноценную страницу, а робот получает пустой блок, ошибку или совсем другой текст, нужно искать техническую причину.

Такое бывает из-за JavaScript, защиты от ботов, настроек CDN, ошибок шаблона или временных проблем сервера. В этом случае проверка глазами в обычном браузере недостаточна.

Когда использовать "Мониторинг важных страниц"

Для главной, основных услуг, важных категорий и других ключевых URL я советую использовать "Мониторинг важных страниц".

Там можно следить за статусом страницы, последним обходом и ответом сервера. Если важный URL выпадет из поиска или начнет отвечать иначе, это проще заметить.

Добавлять туда весь сайт не обязательно. Выберите страницы, потеря которых действительно повлияет на поиск или работу бизнеса.

Когда отправлять URL на переобход

Переобход нужен, когда страница новая или вы исправили причину, которая мешала ее нормальной обработке. Например, убрали noindex, исправили canonical, вернули код 200, изменили важный текст или восстановили страницу после ошибки.

Инструмент находится в "Индексирование" - "Переобход страниц". Яндекс ставит переданные адреса в приоритетную очередь для следующего посещения роботом.

Переобход не гарантирует включение страницы в поиск. Если на URL осталась техническая проблема или страница дублирует другой материал, повторная отправка сама по себе это не исправит.

Почему данные могут измениться не сразу

После исправления сайта Вебмастер не обязан показать новый статус в ту же минуту. Роботу нужно снова посетить страницу, а затем данные должны обновиться в поисковой базе и самом сервисе.

Если вы только что исправили canonical или сняли noindex, сначала убедитесь, что новая версия уже открывается на сайте. После этого отправьте URL на переобход и дайте Яндексу время обработать изменения.

Постоянно менять настройки в ожидании мгновенного результата не стоит. Так легко создать новую проблему раньше, чем поисковик успеет обработать предыдущее исправление.

Как я проверяю новую страницу после публикации

Сначала открываю URL в браузере и проверяю, что страница работает. Потом смотрю код ответа, canonical, robots, внутренние ссылки и наличие URL в sitemap.xml.

После этого отправляю страницу на переобход. Подробно о том, когда это действительно нужно, читайте в статье "Переобход страниц в Яндекс Вебмастере: когда использовать". Через Вебмастер проверяю, посетил ли ее робот и какой статус появился.

Если страница не вошла в поиск, не начинаю переписывать все сразу. Сначала смотрю конкретную причину, а уже потом меняю нужную настройку или сам материал.

Чего не нужно делать

Не отправляйте один и тот же адрес на переобход много раз подряд. Это не ускоряет исправление технической ошибки.

Не меняйте canonical, robots.txt и URL только ради эксперимента. Если текущая настройка правильная, лишние изменения могут усложнить индексацию.

Не оценивайте состояние всего сайта по одной странице. Для отдельного URL используйте "Проверку страницы", а для общей картины смотрите "Страницы в поиске", статистику обхода и важные разделы сайта.

Если проблема затрагивает много URL и причина непонятна, лучше начать с SEO-аудита сайта. Тогда можно проверить индексацию, ответы сервера, robots.txt, sitemap.xml, canonical, дубли и внутреннюю перелинковку вместе, а не исправлять настройки по одной наугад.