Как проверить, не скрыт ли сайт от индексации поисковыми системами

Бывает типичная ситуация: вы запустили сайт, всё красиво, всё работает, ждёте месяц, два, иногда даже полгода — а в поиске ничего не происходит. Сайт не появляется по названию компании, не видно страниц, заявок из поиска нет.

И речь сейчас не про то, что сайт “плохо продвигается”. Иногда проблема гораздо банальнее: сайт просто закрыт от индексации. То есть поисковые системы его не обходят или не добавляют страницы в базу.

Это частая ошибка, и, что особенно обидно, часто она решается за 5–10 минут.

Что такое индексация простыми словами

Индексация — это процесс, когда поисковая система:

• заходит на ваш сайт,
• читает страницы,
• добавляет их в свою базу,
• и только после этого может показывать их в выдаче.

Если сайт закрыт от индексации, то для Яндекса и Google его как будто почти не существует.

Почему сайт может быть скрыт от индексации

1) Сайт закрыли на этапе разработки и забыли открыть

Это самая частая причина.

Когда сайт делают в веб-студии, его часто специально закрывают от поисковых систем, чтобы в индекс не попали:

• тестовые страницы,
• черновики,
• недоделанная верстка,
• временные тексты.

Это нормальная практика. Проблема возникает, когда после запуска сайта его забывают открыть обратно.

Такое бывает:

• в студиях, которые не занимаются SEO,
• в студиях, которые SEO занимаются, но сработал человеческий фактор,
• при переносе сайта на новый домен,
• после обновлений или переезда.

2) Закрытие через настройки CMS

Во многих системах управления сайтом есть встроенная настройка запрета индексации.

Например, в WordPress есть опция, которая запрещает поисковым системам индексировать сайт. Если эта галочка включена — сайт может не попадать в поиск.

На WordPress это обычно выглядит так:

• “Попросить поисковые системы не индексировать сайт”
• или похожая формулировка в настройках чтения

Если галочка стоит — её нужно снять.

После снятия этой настройки стоит дополнительно проверить главную страницу через «Анализ индексации страницы» или посмотреть исходный код и убедиться, что noindex больше не установлен.

3) Ошибка в файле robots.txt

Вторая очень частая причина — неправильно настроенный файл robots.txt.

Если в нём прописан запрет на весь сайт, поисковый робот не сможет обходить страницы сайта.

Например, опасная запись выглядит так:

User-agent: *
Disallow: /

Это означает: запретить обход всего сайта для роботов.

Если такая строчка стоит без понимания, зачем она нужна, — это критическая ошибка.

Страницы, закрытые только через robots.txt, в отдельных случаях всё равно могут отображаться в поиске. Если страницу нужно исключить из поиска, обычно используют директиву noindex — при этом робот должен иметь возможность открыть страницу и увидеть этот запрет.

Проверьте meta robots: нет ли noindex

Страница может быть доступна посетителям и поисковому роботу, но при этом содержать запрет на индексацию.

Пример:

<meta name="robots" content="noindex">

Если такая директива стоит на главной странице или нужном URL, страницу могут не включать в поиск.

Проверить её можно:

• в исходном коде страницы;
• через инструмент Яндекса «Анализ индексации страницы».

В WordPress та же логика связана с настройкой «Попросить поисковые системы не индексировать сайт» — после снятия галочки noindex на страницах должен исчезнуть.

Как быстро проверить, есть ли сайт в индексе

Самый простой способ — проверить через поиск Яндекса.

Открываете Яндекс и вводите запрос вида:

site:вашдомен.ru

Важно:

• без https://
• без слэшей
• без пробелов
• просто домен

Например:

site:example.ru

Оператор site: покажет часть страниц домена, которые Яндекс выводит в результатах поиска. Это удобная быстрая проверка, но не точный список всех страниц в индексе.

Что это даёт

Так можно быстро понять:

• есть ли в поиске страницы вашего домена;
• какие URL уже видны в выдаче;
• нет ли важных страниц, которые не попали в индекс;
• нет ли подозрительных страниц, которых вы не создавали.

Если результатов неожиданно мало или их нет совсем, это повод дополнительно проверить robots.txt, noindex и данные Яндекс Вебмастера.

Заодно можно проверить сайт на вирусы и мусорные страницы

Этот же способ полезен ещё и для диагностики взлома.

Если сайт заражён, в индексе иногда появляются:

• страницы с японскими иероглифами,
• мусорные карточки товаров,
• ссылки на казино,
• странные URL, которых вы никогда не создавали.

Если видите такое — это уже не просто проблема индексации, а повод срочно проверять сайт на взлом и вредоносный код.

Более продвинутый способ: Яндекс.Вебмастер

Даже без добавления сайта в сервис можно проверить конкретный URL в инструменте «Анализ индексации страницы» (Яндекс Вебмастер → Инструменты). Он показывает, доступна ли страница для робота, учитывает правила в robots.txt и проверяет meta robots, в том числе noindex.

Если сайт уже подключён к Яндекс.Вебмастеру, это лучший вариант для полного контроля индексации.

Там можно посмотреть:

• какие страницы находятся в индексе,
• какие исключены,
• какие заблокированы,
• какие признаны малоценными,
• есть ли ошибки обхода,
• есть ли проблемы с robots.txt,
• как Яндекс вообще видит ваш сайт.

Это очень полезный инструмент не только для SEO-специалистов, но и для владельцев сайтов.

Если вы ещё не подключали Яндекс.Вебмастер — обязательно сделайте это. Даже базовая информация оттуда уже может помочь понять, почему сайт не растёт в поиске.

Что проверить в первую очередь, если сайт не индексируется

Вот простой чек-лист:

• Снят ли запрет индексации в CMS
• Проверьте, нет ли meta robots noindex
• Нет ли в robots.txt полного запрета через Disallow: /
• Открывается ли сайт без ошибок
• Есть ли страницы в поиске по запросу site:вашдомен.ru (используйте как ориентир, а не как точный счётчик страниц в индексе)
• Проверьте нужный URL через «Анализ индексации страницы» Яндекса
• Нет ли мусорных или вирусных страниц в индексе
• Подключён ли Яндекс.Вебмастер
• Не заблокирован ли обход сайта технически

Важный момент: отсутствие позиций ≠ отсутствие индексации

Иногда владельцы сайтов путают две ситуации:

Сайт не индексируется

Это когда страниц вообще нет или почти нет в поиске.

Сайт индексируется, но не растёт

Это уже другая история:

• слабая оптимизация,
• нет контента,
• высокая конкуренция,
• плохие коммерческие факторы,
• слабая ссылочная история и т.д.

Поэтому сначала нужно понять базу:
сайт вообще открыт для поисковиков или нет?

Вывод

Если сайт долго не появляется в поиске, не спешите думать, что “SEO не работает”. Очень часто проблема в другом: сайт просто закрыт от индексации.

Проверьте:

• настройки CMS,
• файл robots.txt,
• наличие страниц по запросу site:домен,
• и данные в Яндекс.Вебмастере.

Это базовая техническая проверка, которую стоит делать сразу после запуска сайта и после любых серьёзных доработок.

Если хотите, мы можем:

• проверить, открыт ли ваш сайт для индексации,
• найти ошибки в robots.txt и настройках CMS,
• посмотреть, какие страницы уже есть в поиске,
• проверить сайт на мусорные/вирусные страницы,
• и помочь с разовой оптимизацией или дальнейшим продвижением сайта.