Почему сайт не индексируется в Яндексе

Сначала отделите обход сайта от индексации

Фраза "сайт не индексируется" может означать разные проблемы. Робот мог еще не найти страницу. Он мог найти URL, но получить ошибку сервера. Страница могла быть доступна для обхода, но закрыта от индексации. Еще один вариант: Яндекс загрузил страницу, но посчитал другой URL каноническим или пока не добавил документ в поиск.

Есть и другая ситуация: страница уже находится в индексе, но не показывается по запросу, по которому владелец сайта ожидает ее увидеть. Это уже не проблема технической индексации. Здесь нужно смотреть содержание страницы, соответствие запросу, конкуренцию, внутренние ссылки и качество всего раздела.

Перед исправлениями полезно открыть Яндекс Вебмастер и проверить конкретный URL. Так быстрее понять, что произошло именно с этой страницей, а не менять robots.txt, sitemap.xml и метатеги наугад.

Проверьте, открывается ли страница и возвращает ли код 200

Нормальная индексируемая страница должна открываться без авторизации и отдавать поисковому роботу корректный ответ сервера. Для обычной рабочей страницы это чаще всего код 200. Если сервер возвращает 404, 403, 500, 503 или другой ошибочный ответ, робот может не получить содержимое страницы.

Отдельно стоит проверить цепочки редиректов. Когда один адрес перенаправляет на второй, второй на третий, а третий снова меняет протокол или вариант домена, робот тратит лишние переходы и может получить не тот URL, который ожидался. Для постоянной смены адреса обычно нужен один понятный редирект на конечную страницу.

После переноса сайта на другой хостинг также проверяют DNS, HTTPS и доступность страниц извне. Сайт может нормально открываться у владельца из кеша браузера, но отвечать ошибкой поисковому роботу.

Проверьте robots.txt

В robots.txt можно случайно закрыть от обхода важный раздел или весь сайт. Частая ошибка появляется после разработки на тестовом домене: запрет был нужен во время работы, а после запуска его забыли убрать.

Проверять нужно не только строку для конкретного URL. В файле могут быть правила для каталога, параметров, отдельных типов страниц или конкретных роботов. Если важная страница попадает под Disallow, Яндекс может не получить ее содержимое.

При этом robots.txt управляет обходом, а не является универсальным способом удалить уже известную страницу из поиска. Для диагностики важно не смешивать эти задачи.

Проверьте meta robots и X-Robots-Tag

Страница может быть открыта в robots.txt и одновременно содержать запрет на индексацию в HTML. Обычно это метатег robots со значением noindex. Аналогичный запрет можно передать через HTTP-заголовок X-Robots-Tag.

Такие настройки часто остаются после тестового запуска, копирования шаблона или установки SEO-модуля. Внешне страница выглядит нормально, но поисковая система получает прямую команду не включать ее в индекс.

Проверять стоит фактический HTML и заголовки ответа сервера. Одного взгляда на настройки CMS иногда недостаточно: модуль, тема или серверная конфигурация могут добавить директиву отдельно.

Проверьте canonical

Canonical показывает поисковой системе, какой URL считать основным среди одинаковых или очень похожих страниц. Если на нужной странице canonical указывает на другой адрес, Яндекс может объединить их и оставить в поиске выбранную каноническую версию.

На обычной самостоятельной странице canonical чаще всего должен вести на ее собственный постоянный URL. Ошибки появляются после копирования шаблонов, массового создания страниц, переноса сайта или неправильной работы SEO-модуля.

Особенно внимательно нужно проверять интернет-магазины: сортировки, фильтры, параметры URL, пагинацию и похожие карточки товаров. Ошибка в одном шаблоне способна затронуть сразу большой раздел.

Проверьте, есть ли страница в sitemap.xml

Sitemap помогает сообщить поисковой системе об актуальных страницах сайта. Если новая страница должна индексироваться, ее стоит добавить в карту сайта. После обновления файла не нужно каждый раз менять его адрес. В Яндекс Вебмастере можно отправить уже добавленный sitemap на повторную обработку.

Само наличие URL в sitemap не гарантирует попадание в поиск. Карта сайта не отменяет robots.txt, noindex, canonical, ошибки сервера и проблемы самой страницы. Это дополнительный способ показать роботу структуру сайта.

В sitemap лучше передавать именно те URL, которые сайт действительно считает основными и индексируемыми. Не стоит наполнять карту дублями, техническими параметрами и страницами, которые одновременно закрыты от поиска.

У страницы должны быть обычные внутренние ссылки

Страница не должна существовать только в sitemap.xml. Поисковому роботу проще находить и оценивать разделы, когда к ним ведут обычные HTML-ссылки с других страниц сайта.

Для статьи это может быть ссылка из раздела блога и из тематической услуги. Для коммерческой страницы - ссылка из раздела услуг, меню или подходящих материалов. Важные страницы не стоит прятать на большой глубине без нормальной навигации.

Внутренняя перелинковка также помогает поисковой системе понять связь между материалами. Например, эта статья связана с услугой SEO-аудита сайта, где проверяется индексация, canonical, sitemap, коды ответа, дубли и другие технические причины.

Проверьте дубли и параметры URL

Одна и та же страница иногда доступна по нескольким адресам: с параметром, без параметра, с меткой, через другой путь или после работы фильтра. В интернет-магазине количество таких вариантов может быстро вырасти из-за сортировок, характеристик и пагинации.

Если поисковая система видит много похожих URL, она старается выбрать основной. В результате нужная владельцу версия может не попасть в поиск как отдельная страница. Сначала нужно определить, какие URL действительно нужны людям и поиску, а уже затем настраивать canonical, редиректы и правила для параметров.

Отдельно эту проблему я разобрал в материале про фильтры и дубли страниц интернет-магазина.

Слабая или повторяющаяся страница тоже может не попасть в поиск

Технически открытая страница не обязана автоматически появляться в выдаче. Если на сайте десятки почти одинаковых страниц, где меняется только одно слово, поисковая система может не считать каждую из них самостоятельным полезным документом.

Проблема часто возникает у региональных страниц, категорий без товаров, пустых карточек, автоматически созданных тегов и услуг с почти одинаковыми текстами. У каждой индексируемой страницы должна быть понятная задача и собственное содержание.

Это не означает, что текст нужно растягивать ради количества слов. Гораздо важнее ответить на реальный запрос человека, показать конкретную услугу или товар, дать понятную структуру и не копировать один шаблон десятки раз.

После смены URL поиску нужно время на обновление

Если страница недавно переехала на новый адрес, Яндекс должен снова обойти старый и новый URL, увидеть редирект и обновить данные. В этот период в Вебмастере и выдаче могут одновременно встречаться старые и новые сведения.

При массовом изменении структуры нельзя ограничиваться только новым sitemap. Нужно проверить постоянные редиректы со старых адресов, canonical, внутренние ссылки и отсутствие цепочек перенаправлений. Если старые URL уже получали поисковый трафик, их нельзя просто удалить без плана переноса.

Что смотреть в Яндекс Вебмастере

Для начала проверьте URL через инструменты индексирования. Нужно увидеть, известна ли страница Яндексу, когда робот обращался к ней, какой статус получил и есть ли причина исключения из поиска. Отдельно я подготовил подробную инструкцию как пользоваться Яндекс Вебмастером и что проверять владельцу сайта.

Затем посмотрите раздел со страницами в поиске и статистику обхода. Если проблема затрагивает весь раздел, а не один URL, полезно сравнить несколько страниц одного типа. Так можно быстро заметить общий шаблон: неверный canonical, запрет noindex, ошибки сервера или отсутствие внутренних ссылок.

Отдельно проверьте sitemap.xml. После его обновления дата обработки и количество URL в Яндекс Вебмастере должны измениться после повторной загрузки файла роботом.

Когда отправлять страницу на переобход

Переобход подходит для новой или существенно измененной HTML-страницы. После исправления noindex, canonical, содержимого или внутренних ссылок можно отправить нужный URL через Яндекс Вебмастер, чтобы дать роботу сигнал о приоритетном повторном посещении.

Это не кнопка, которая гарантирует попадание в поиск. Если техническая ошибка осталась, повторный обход просто снова ее увидит. Сначала исправляется причина, затем URL отправляется на переобход.

Для регулярного сайта также стоит поддерживать актуальный sitemap. Для автоматической передачи сигналов об измененных URL можно использовать IndexNow, если техническая часть сайта позволяет его нормально подключить.

Что проверить в Google Search Console

Если страница должна продвигаться и в Google, полезно проверить ее через инструмент проверки URL в Search Console. Там можно увидеть, доступна ли страница для сканирования, какой URL Google считает каноническим и находится ли документ в индексе.

После исправлений можно запросить повторное сканирование. Google также использует sitemap для обнаружения новых и измененных страниц. Логика проверки похожа: сначала доступность и технические сигналы, затем содержимое страницы и ее место в структуре сайта.

Если Яндекс и Google одновременно не индексируют один и тот же URL, я в первую очередь ищу общую техническую причину: ответ сервера, robots, noindex, canonical, редиректы или отсутствие нормальных ссылок.

Если не индексируется весь сайт

Когда в поиске нет почти ничего, проверка начинается не с отдельных текстов. Сначала смотрят доступность домена, robots.txt, глобальный noindex, HTTP-коды, HTTPS, редиректы между www и без www, canonical на основных страницах и наличие сайта в Вебмастере.

После этого проверяют sitemap, внутреннюю навигацию и фактический обход роботом. На новом сайте также нужно учитывать, что поисковой системе требуется время, чтобы обнаружить и обработать страницы. Но ждать неделями при явном запрете в robots.txt или noindex бессмысленно - такую ошибку нужно исправлять сразу.

Если не индексируются только отдельные страницы

Когда главная и основные разделы уже находятся в поиске, а часть URL отсутствует, сравните проблемную страницу с той, которая индексируется нормально. Проверяйте код ответа, robots, meta robots, canonical, наличие в sitemap, количество внутренних ссылок и содержание.

Такой способ часто быстрее общего аудита всех настроек. Если у нескольких проблемных страниц один шаблон, причина может находиться именно в нем. Например, CMS может автоматически ставить noindex на определенный тип материалов или формировать canonical на родительскую категорию.

В каком порядке я бы проверял проблему

Сначала открываю страницу и проверяю ответ сервера. Затем robots.txt, meta robots и canonical. После этого смотрю sitemap и внутренние ссылки. Дальше проверяю дубли, параметры URL и содержание самой страницы. В конце сверяю фактический статус в Яндекс Вебмастере и Google Search Console.

Такой порядок помогает не начинать с переписывания текста, если страница вообще закрыта от индексации, и не менять технические файлы, если URL уже находится в поиске, но просто не получает показов по нужным запросам.

Если причин несколько или сайт давно не проверялся, можно провести SEO-аудит сайта. Для интернет-магазина дополнительно проверяются категории, карточки товаров, фильтры, пагинация и другие URL, которые способны создавать дубли.