Почему сайт не индексируется в Яндексе — вопрос не только о robots.txt. Поисковый робот должен обнаружить URL, получить корректный ответ сервера, увидеть доступный для обработки контент и понять, что именно эту страницу следует добавить в поиск. Сбой на любом этапе делает страницу невидимой, поэтому диагностику важно проводить последовательно.
Почему сайт не индексируется в Яндексе: короткий ответ
Чаще всего причина находится в одной из пяти зон: робот не знает о странице, доступ закрыт директивой, сервер отвечает с ошибкой, canonical указывает на другой URL или контент выглядит дублем. Иногда технических запретов нет, но страница остаётся вне поиска из-за слабой внутренней связи с сайтом и неясной роли в структуре.
Не начинайте с массового переписывания текстов. Сначала установите, на каком этапе пропадает URL: обнаружение, обход, обработка или выбор основной страницы. Такой порядок экономит время и не маскирует техническую проблему контентными правками.
Индексация, обход и ранжирование — разные процессы
Страница может быть известна Яндексу, но ещё не обработана. Она может находиться в индексе, но не показываться по ожидаемому запросу. Наконец, робот может регулярно заходить на URL, который запрещён для поиска.
Разделите симптомы:
- URL не найден в данных Вебмастера — вероятна проблема обнаружения;
- робот видел страницу, но исключил её — нужно изучить причину исключения;
- URL присутствует в поиске только по оператору адреса — проблема может быть в релевантности;
- вместо нужной страницы показывается другая — проверьте дубли и canonical;
- из поиска исчезла группа страниц — ищите общее изменение в шаблоне, сервере или правилах обхода.
Если страница уже индексировалась, а проблема появилась после переезда или редизайна, используйте также чек-лист технического SEO при переносе сайта.
Шаг 1. Проверьте сам URL и ответ сервера
Откройте точный адрес без авторизации, cookies и специальных параметров. Страница должна возвращать успешный HTTP-ответ и показывать тот же основной контент обычному посетителю и поисковому роботу.
Проверьте:
- Нет ли цепочки редиректов перед конечным URL.
- Не возвращает ли сервер ошибку, мягкий 404 или страницу-заглушку.
- Совпадают ли варианты с
wwwи без него, HTTP и HTTPS, со слешем и без слеша. - Не требует ли страница входа, подтверждения города или выполнения JavaScript для появления основного текста.
Редирект допустим, если старый адрес окончательно перенесён на единственный новый. Но когда несколько вариантов URL отвечают успешно и показывают одинаковый материал, поисковой системе приходится самостоятельно выбирать основной вариант.
Шаг 2. Найдите запреты в robots.txt и метатегах
robots.txt управляет обходом, а noindex — включением страницы в поиск. Эти механизмы решают разные задачи. Закрытый обход может помешать роботу увидеть обновлённые метатеги, поэтому проверять нужно оба уровня.
Ищите:
Disallowдля каталога или конкретного шаблона URL;<meta name="robots" content="noindex">в HTML;- заголовок
X-Robots-Tagв ответе сервера; - условную логику, которая добавляет запрет только на production-сайте;
- настройки CMS, перенесённые со staging-окружения.
После снятия запрета убедитесь, что в исходном HTML действительно появилась разрешающая конфигурация. Визуального открытия страницы в браузере для этого недостаточно.
Шаг 3. Проверьте canonical и дубли
Canonical сообщает поисковой системе, какой URL считать основным среди похожих страниц. Ошибка особенно опасна, когда общий шаблон сайта проставляет ссылку на главную, родительскую категорию или другой город.
Для целевой страницы canonical должен:
- вести на доступный индексируемый URL;
- совпадать с выбранным форматом адреса;
- не проходить через редирект;
- быть согласованным с sitemap и внутренними ссылками;
- не меняться после загрузки клиентского JavaScript.
У городских, фильтровых и параметрических страниц дополнительно сравните основной текст, заголовки и коммерческие блоки. Формально правильный self-canonical не гарантирует индексацию, если набор страниц почти не отличается друг от друга.
Шаг 4. Сверьте sitemap и внутреннюю перелинковку
Sitemap помогает обнаруживать адреса, но не заменяет ссылки внутри сайта. Если URL присутствует только в XML-карте, поисковая система получает слабый сигнал о его месте в структуре.
Проверьте, что страница:
- включена в актуальный sitemap с каноническим адресом;
- открывается из меню, каталога, хаба услуг или релевантной статьи;
- не находится глубже нескольких логических переходов от важного раздела;
- получает ссылки с понятными анкорами;
- сама ведёт на родительские и соседние материалы.
Практическую схему связей между услугами и статьями разбираем в руководстве по внутренней перелинковке сайта услуг.
Шаг 5. Оцените доступность основного контента
Яндекс должен получить содержательную версию страницы без действий пользователя. Если заголовок, описание услуги или каталог появляются только после запроса к API, ошибки JavaScript могут оставить роботу пустой шаблон.
Сравните отображаемую страницу с исходным HTML. В нём должны быть основной заголовок, вводный текст, важные ссылки и содержательные блоки. Для статически экспортируемого сайта проверьте, что нужный маршрут действительно создаётся во время сборки, а не существует только внутри клиентской навигации.
Отдельно проверьте изображения и интерфейсные элементы: они не должны заменять текст, необходимый для понимания темы страницы.
Как читать причины исключения
| Сигнал | Что он обычно означает | Что проверить первым |
|---|---|---|
| Запрещено в robots.txt | Роботу закрыт путь к URL | Директивы для каталога и шаблона |
| Обнаружено, но не проиндексировано | URL известен, но ещё не выбран для поиска | Ссылки, sitemap, качество и уникальная роль |
| Дубль или выбрана другая каноническая | Поисковик объединил похожие адреса | Canonical, редиректы, параметры, шаблонный текст |
| Мягкий 404 | Страница формально успешна, но похожа на пустую или ошибочную | Основной контент, наличие товара или услуги, HTTP-логику |
| Ошибка сервера | Робот не получил стабильный ответ | Логи, таймауты, CDN, доступность API |
Формулировка в панели — отправная точка, а не готовый диагноз. Подтверждайте её проверкой HTML, заголовков ответа и связей URL внутри сайта.
Что исправлять в зависимости от причины
Если URL закрыт случайно, снимите запрет и отправьте страницу на переобход. Если существует несколько вариантов адреса, выберите один, настройте редиректы, canonical и единый формат внутренних ссылок.
Когда технических ошибок нет, уточните назначение страницы. Она должна закрывать самостоятельный интент, содержать конкретный ответ и быть встроена в логичную структуру. Для исключённых тонких страниц полезен отдельный план из статьи «Малоценная страница в Яндексе: что делать».
После изменений не отправляйте десятки одинаковых URL на переобход. Сначала проверьте один типовой адрес, затем шаблон раздела и только после этого распространяйте исправление.
Ошибки, которые затягивают диагностику
Не стоит одновременно менять URL, заголовок, текст и структуру ссылок: вы не поймёте, какое действие устранило проблему. Также опасно считать sitemap гарантией индексации или создавать новые страницы под тот же запрос вместо исправления основной.
Ещё одна частая ошибка — оценивать индексацию только по ручному поиску ключевой фразы. Для технической проверки используйте точный URL, данные панели вебмастера, ответ сервера и исходный HTML.
Когда нужен полный SEO-аудит
Одна страница часто проверяется вручную. Но если из поиска выпал целый раздел, проблемы повторяются после каждого релиза или сигналы противоречат друг другу, нужен системный разбор шаблонов, sitemap, canonical, внутренних ссылок и серверных ответов.
EvaLab проводит SEO-аудит сайта и собирает приоритетный план исправлений: от блокирующих индексацию ошибок до структуры и контента. Такой формат помогает не просто вернуть отдельный URL, а устранить причину на уровне всего сайта.
