Если страница не появляется в Яндексе или Google, причина почти всегда относится к одной из пяти групп: робот не может её открыть, ему запретили её индексировать, он считает её дублем, она слишком слабая или он до неё ещё не дошёл. Диагностика начинается с вопроса, что именно об этой странице говорит сам поисковик.
Шаг 1. Что показывает Вебмастер и Search Console
- Яндекс Вебмастер, раздел «Страницы в поиске» и «Диагностика». Статусы «Загружена роботом», «Исключена» с причиной, «Недоступна».
- Google Search Console, инструмент «Проверка URL». Показывает, проиндексирован ли адрес, какой canonical выбрал Google и почему не включил в индекс.
Шаг 2. Таблица причин
| Причина | Как проверить | Что делать |
|---|---|---|
| Страница отдаёт ошибку | Проверка URL, код ответа не 200 | Исправить ответ сервера, убрать цепочки редиректов |
| Запрет в robots.txt | Проверка адреса в отчёте robots.txt (Search Console) или в «Анализе robots.txt» Яндекс Вебмастера | Убрать лишний Disallow, проверить маски вида /*? |
| Мета-тег noindex или X-Robots-Tag | Код страницы и заголовки ответа | Убрать noindex там, где страница должна быть в поиске |
| Canonical на другую страницу | Тег rel=canonical в коде | Указать canonical на себя или объединить страницы осознанно |
| Дубль или почти дубль | Поиск по фрагменту текста, причина «Страница является дубликатом…» в отчёте «Индексирование → Страницы» | Уникализировать содержимое или объединить страницы |
| Слабое содержимое | Статус «Малоценная» в Вебмастере, текст короче конкурентов | Дополнить страницу ответами, данными, примерами |
| Нет внутренних ссылок | Страница не связана с остальным сайтом | Добавить ссылки из меню, разделов и связанных страниц |
| Нет в sitemap | Файл sitemap.xml | Добавить адрес, проверить актуальность файла |
| Робот ещё не дошёл | Страница новая, нет ссылок | Отправить в переобход, добавить в sitemap, поставить ссылку |
Важно. robots.txt закрывает обход, но не гарантирует отсутствие страницы в индексе: если на неё есть внешние ссылки, она может попасть в поиск без содержимого. Чтобы убрать страницу из поиска, оставьте её доступной для робота и поставьте noindex.
Шаг 3. Что ускоряет индексацию новых страниц
- Ссылка на страницу с главной или крупного раздела.
- Актуальный sitemap.xml с датой изменения.
- Отправка адреса в «Переобход страниц» в Яндекс Вебмастере и «Проверку URL» в Search Console.
- Протокол IndexNow для Яндекса и других систем, которые его поддерживают.
- Быстрая отдача страницы и отсутствие зависимости от тяжёлых скриптов.
Что не помогает
- Массовые покупные ссылки «для индексации»: они создают риски и не заменяют качество страницы.
- Многократная отправка в переобход одного и того же адреса.
- Создание новых копий страницы вместо исправления причины.
Если проблем много
Когда в Вебмастере сотни исключённых страниц, диагностику лучше проводить по группам адресов, а не по одному. Мы делаем такой разбор в рамках SEO-аудита, а для быстрой проверки можно воспользоваться онлайн-анализом сайта.