Crawled but not indexed : почему Google отказывается индексировать ваши страницы и как исправить

Статус "Crawled - currently not indexed" в Google Search Console, вероятно, самое разочаровывающее сообщение в SEO. Google посетил вашу страницу, прочитал ее... и решил не включать ее в свой индекс. Другими словами: она никогда не появится в результатах поиска.

Это проблема №1 на SEO-форумах, и не зря — она затрагивает как маленькие блоги, так и сайты электронной коммерции с миллионами страниц.

Почему Google сканирует, но не индексирует

У Google есть ограниченный бюджет на индексацию. Он не может (и не хочет) индексировать все страницы в интернете. Когда Googlebot сканирует страницу и решает не индексировать ее, это значит, что он посчитал, что она не приносит достаточно пользы, чтобы заслужить место в его индексе.

Основные причины:

1. Слишком бедное или дублированное содержание

Это причина №1. Google ищет уникальный и полезный контент. Если ваша страница:

• Содержит менее 300 слов оригинального контента
• Повторяет то, что уже есть на десятках других сайтов
• Является незначительной вариацией другой страницы вашего собственного сайта
• Была автоматически сгенерирована без добавленной ценности

→ Google ее сканирует, но не индексирует. Решение: обогатите контент оригинальной информацией, данными, экспертными отзывами или конкретными случаями.

2. Низкий авторитет домена

Новые сайты или сайты с небольшим количеством обратных ссылок имеют ограниченный "кредит" на индексацию. Google приоритизирует страницы сайтов, которые он считает надежными. Если вашему домену 6 месяцев и у него нет обратных ссылок, не ожидайте, что все ваши 500 страниц будут проиндексированы.

→ Решение: сосредоточьтесь на небольшом количестве качественных страниц, а не на массовой публикации. Получите обратные ссылки на ключевые страницы.

3. Неудачная архитектура и внутренняя перелинковка

Страница, доступная только через 4 клика от главной страницы, без каких-либо внутренних ссылок на нее, посылает Google негативный сигнал: "эта страница не важна".

→ Решение: убедитесь, что каждая важная страница находится на максимум 3 клика от главной страницы и получает внутренние ссылки от уже проиндексированных страниц.

4. Пустая трата бюджета на сканирование

Если на вашем сайте много ненужных страниц (фильтры фасетов, пустые страницы тегов, внутренние результаты поиска, дублированные версии с/без завершающего слэша), Google тратит свой бюджет на сканирование этих страниц вместо ваших важных страниц.

→ Решение: очистите ненужные URL с помощью robots.txt, noindex или канонических тегов. Используйте Google Search Console → Настройки → Статистика сканирования, чтобы увидеть, где Googlebot проводит свое время.

5. Сиротские страницы

Страницы, которые существуют, но не связаны ни с одной другой страницей вашего сайта. Google обнаруживает их через карту сайта, но считает их неважными.

→ Решение: проверьте в вашей карте сайта, что у каждого URL есть хотя бы одна внутренняя ссылка. Инструменты, такие как Screaming Frog, автоматически обнаруживают сиротские страницы.

Диагностика за 5 минут

1. Google Search Console → Страницы → Фильтр по "Crawled - currently not indexed"
2. Обратите внимание на шаблоны: это определенный тип страницы (карточки товаров, теги, старые статьи)?
3. Проверьте URL, на который это влияет → посмотрите дату последнего сканирования и есть ли у Google упоминание о проблеме
4. Проверьте контент: откройте страницу, действительно ли она полезна и уникальна?
5. Проверьте перелинковку: сколько внутренних ссылок указывают на эту страницу?

Решения, которые действительно работают

Улучшение контента (долгосрочно)

Это решение №1. Обогатите ваши страницы "not indexed" с помощью: - Оригинального и детального контента (мин. 500-800 слов для статьи) - Данных, статистики или конкретных примеров - Оригинальных изображений с описательными alt-тегами - Четкой структуры (H2, H3, списки)

Укрепление внутренней перелинковки

Добавьте ссылки с ваших наиболее сканируемых страниц (главная страница, популярные статьи) на неиндексированные страницы. Это часто самое быстрое решение.

Принудительная повторная подача

После улучшения страницы: 1. Search Console → Проверка URL → Запросить индексацию 2. API Google Indexing → уведомление URL_UPDATED 3. IndexNow → мгновенное уведомление в Bing/Yandex

Инструмент, такой как IndexAI, автоматизирует эти 3 метода одновременно: он отправляет ваши URL через API Indexing, IndexNow и пинг карты сайта, затем проверяет, действительно ли Google проиндексировал страницу. Для сайтов с большим количеством страниц "not indexed" это гораздо эффективнее, чем ручная подача по одной.

Удаление страниц без ценности

Иногда лучшее решение — это сократить количество страниц. Если у вас есть 200 страниц тегов WordPress, каждая из которых содержит 2 статьи, удалите их или поставьте noindex. Google будет лучше индексировать ваши важные страницы, когда ему не придется сканировать сотни ненужных страниц.

Что НЕ работает

• ❌ Отправка 50 раз одного и того же URL в Search Console → Google игнорирует повторные отправки
• ❌ Добавление ключевых слов без улучшения контента → Google обнаруживает наполнение ключевыми словами
• ❌ Покупка обратных ссылок на страницы низкого качества → риск ручного штрафа
• ❌ Пассивное ожидание → если Google решил не индексировать, это не изменится само по себе

В резюме

"Crawled - currently not indexed" не является фатальным. В 90% случаев это сигнал качества: Google точно говорит вам, что он думает о ваших страницах. Ваша задача — улучшить их, чтобы заслужить место в индексе.