14 главных причин, почему Google не индексирует ваш сайт

Если вы считаете, что Google испытывает трудности с индексацией вашего веб-сайта, то, наверняка, наша статья будет весьма интересной. Ознакомьтесь с важными 14 проблемами индексации сайта и узнайте, как их решить.

Google не индексирует ваш сайт? Вы не одиноки. Существует множество потенциальных проблем, которые могут помешать Google индексировать веб-страницы, и в этой статье рассматриваются 14 самых распространенных из них.

Если вы хотите знать, что делать, если ваш сайт не оптимизирован для мобильных устройств или вы столкнулись со сложными проблемами индексации, специалисты компании PROject SEO подготовили информацию, которая точно вам пригодится. Из статьи вы узнаете, как исправить распространенные проблемы, чтобы Google снова начал индексировать страницы сайта.

1. У вас нет доменного имени

Первая причина, по которой Google не будет индексировать любой сайт, заключается в том, что отсутствует доменное имя. Это может быть связано с тем, что вы используете неправильный URL-адрес для контента или он неправильно настроен в WordPress.

Если это происходит, есть несколько простых решений:

Проверьте, начинается ли веб-адрес с «https://XXX.XXX…», что означает, что кто-то может вводить IP-адрес вместо имени домена и перенаправляться на ваш веб-сайт. Кроме того, перенаправление вашего IP-адреса может быть настроено неправильно.

Один из способов решить эту проблему — добавить переадресацию 301 с WWW-версий страниц обратно на соответствующие домены. Если люди перенаправляются сюда, когда пытаются найти что-то вроде [yoursitehere], мы хотим, чтобы они попали на ваше физическое доменное имя.

Важно убедиться, что у вас есть доменное имя. Это не подлежит обсуждению, если вы хотите занимать высокие позиции и быть конкурентоспособными в Google.

2. Ваш сайт не оптимизирован для мобильных устройств

Удобство использования ресурса на мобильных устройствах имеет решающее значение для индексации в Google, поскольку он ввел индексирование Mobile-First.

Независимо от того, насколько хорош контент на сайте, если он не оптимизирован для просмотра на смартфоне или планшете, вы потеряете рейтинг и трафик. Мобильная оптимизация не должна быть сложной — простое добавление принципов адаптивного дизайна, таких как плавающая разметка и CSS Media Queries, может иметь большое значение для того, чтобы пользователи могли найти то, что им нужно, без каких-либо проблем с навигацией.

Первое, что мы рекомендуем сделать с этой проблемой, — запустить сайт с помощью Google Mobile-Friendly Testing Tool. Если вы видите сообщение «пройдено чтение», вам нужно проделать некоторую работу, чтобы сделать сайт удобным для мобильных устройств.

3. Вы используете язык кодирования слишком сложным для Google способом

Google не будет индексировать сайт, если вы используете сложный язык кодирования. Неважно, какой язык — он может быть старым или даже обновленным, как JavaScript — если настройки неверны и вызывают проблемы со сканированием и индексированием.

Если это проблема возникла, рекомендуем запустить Google Mobile-Friendly Testing Tool, чтобы увидеть, насколько ваш сайт действительно удобен для мобильных устройств (и внести любые исправления, которые могут потребоваться). Если же сайт еще не соответствует стандартам, будет предложено множество ресурсов с рекомендациями по всевозможным причудам дизайна, которые могут возникнуть при разработке адаптивной веб-страницы.

4. Сайт загружается медленно

Сайты с медленной загрузкой снижают вероятность того, что Google захочет, чтобы они были в топе результатов индекса. Если ваш сайт долго загружается, это может быть связано со многими различными факторами. Возможно у вас слишком много контента на странице для браузера пользователя или вы используете устаревший сервер с ограниченными ресурсами.

Решения:

• Используйте Google PageSpeed ​​Insights — это один из лучших инструментов. Он помогает определить, какие разделы сайта требуют срочного внимания для повышения его скорости. Инструмент анализирует веб-страницу в соответствии с пятью лучшими рекомендациями по производительности (которые имеют решающее значение для более быстрой загрузки сайтов), такими как минимизация подключений, уменьшение размера полезной нагрузки, использование кэширования браузера и т. д., и дает вам предложения о том, как улучшить каждый аспект.
• Используйте такой инструмент, как webpagetest.org — этот инструмент сообщит вам, загружается ли сайт достаточно быстро. Это позволит увидеть конкретные элементы на сайте, которые вызывают особенные проблемы. Это позволит определить серьезные проблемы со скоростью страницы до того, как она выпадет из индекса.
• Снова используйте Google PageSpeed ​​— узнайте, где можно улучшить время загрузки сайта. Например, возможно, стоит перейти на новый хостинг с большим количеством ресурсов (чистые выделенные серверы намного лучше, чем общие) или использовать службу CDN, которая будет обслуживать статический контент из своего кеша в нескольких местах по всему миру.

В идеале убедитесь, что скорость страницы достигает 70 или более. В идеале как можно ближе к 100.

5. На вашем сайте мало хорошо написанного контента

Хорошо написанный контент имеет решающее значение для успеха в Google. Если на сайте размещен контент, который не соответствует уровню сайтов-конкурентов, тогда могут возникнуть серьезные проблемы даже с попаданием в ТОП-50. По нашему опыту, контент, содержащий менее 1000 слов, не так эффективен, как контент, содержащий более 1000 слов. Но тут важна и тематика сайта и опять же количество символов в статьях на сайтах конкурентов.

Когда вы решаете, что делать в контексте конкуренции, убедитесь, что ваш контент хорошо написан, это ключ к успеху. Контент на вашем сайте должен быть качественным и информативным. Он должен отвечать на вопросы, предоставлять информацию или иметь точку зрения, которая достаточно отличается от других сайтов в той же нише, что и ваша. Если он не соответствует этим стандартам, Google, скорее всего, найдет другой сайт с более качественным контентом и покажет его выше в выдаче.

Если вам интересно, почему веб-сайт не занимает высокие позиции в результатах поиска Google по некоторым ключевым словам, несмотря на то, что он следует передовым методам SEO, таким как добавление релевантных ключевых слов по всему тексту, то одним из виновников “тонкий контент” на странице, где действительно должно быть больше, чем просто 100 слов!

“Тонкий контент” может стать причиной проблем с индексацией, потому что он не представляет ценности для посетителя и не соответствует минимальным уровням качества по сравнению с вашими конкурентами.

6. Ваш сайт неудобен для пользователя и не привлекателен для посетителей

Наличие удобного и привлекательного сайта имеет решающее значение для хорошего SEO. Google повысит рейтинг сайта в результатах поиска, если посетителям будет легко находить то, что они ищут, и перемещаться по веб-сайту, не чувствуя разочарования или раздражения.

Google не хочет, чтобы пользователи тратили слишком много времени на страницу, которая либо долго загружается, либо имеет запутанную навигацию, либо просто сложна в использовании, потому что слишком много отвлекающих факторов (например, реклама в верхней части страницы).

Если в каждой категории указан только один продукт вместо нескольких, возможно, именно поэтому ваш контент плохо ранжируется в Google! Важно не только настроить таргетинг на ключевые слова в каждом посте, но и убедиться, что все связанные статьи ссылаются на другие соответствующие статьи/страницы по теме.

Нравится ли людям делиться вашим блогом? Читатели поражены вашим контентом? Если нет, то это может быть причиной того, что Google перестал индексировать ваш сайт.

Если кто-то ссылается непосредственно на одну конкретную страницу продукта, а не использует относительные ключевые слова, такие как «купить», «заказать» и т. д., возможно, что-то не так с тем, как другие страницы ссылаются на этот конкретный продукт. Убедитесь, что все продукты, перечисленные на страницах категорий, также существуют в каждой соответствующей подкатегории, чтобы пользователи могли легко совершать покупки без необходимости перемещаться по сложной иерархии ссылок.

7. У вас есть цикл перенаправления

Циклы перенаправления (Redirect Loop) — еще одна распространенная проблема, препятствующая индексации. Обычно они вызваны обычной опечаткой и могут быть исправлены с помощью следующих шагов:

1. Найдите страницу, которая вызывает цикл перенаправления. Если вы используете WordPress, найдите исходный HTML-код одного из ваших сообщений на этой странице или в файле .htaccess и найдите «Перенаправление 301», чтобы увидеть, с какой страницы он пытается направить трафик. Также стоит исправить все перенаправления 302 и убедиться, что они установлены на 301.
2. Используйте «найти» в проводнике Windows (или Command+F, если это Mac) для поиска во всех файлах, содержащих «перенаправление», пока не обнаружите, в чем проблема.

Исправьте любые опечатки, чтобы не было повторяющегося URL-адреса, указывающего на себя, а затем используйте код перенаправления, как показано ниже:

Коды состояния, такие как 404, не всегда отображаются в Google Search Console. Используя внешний сканер, такой как Screaming Frog, вы можете найти коды состояния для 404 и других ошибок.

Если все выглядит хорошо, используйте Google Search Console, чтобы снова просканировать сайт и повторно отправить его на индексацию. Подождите неделю или около того, прежде чем снова зайти в Google Search Console, если появятся какие-либо новые предупреждения, требующие внимания.

У Google нет времени обновлять свои индексы каждый день, но они пытаются каждые несколько часов, что означает, что иногда ваш контент может не отображаться сразу, даже если вы знаете, что он был обновлен. Потерпите! Вскоре он будет проиндексирован.

8. Вы используете плагины, которые блокируют сканирование вашего сайта роботом Googlebot.

Одним из примеров такого плагина является плагин robots.txt. Если с помощью этого плагина вы установите для файла robots.txt запрет на индексирование своего сайта, робот Googlebot не сможет его просканировать.

Настройте файл robots.txt и выполните следующие действия:

Во время создания сделайте его общедоступным, чтобы поисковые роботы могли получить к нему доступ без ограничений. Убедитесь, что в файле robots.txt нет следующих строк:

User-agent: *

Disallow: /

Косая черта означает, что файл robots.txt блокирует все страницы из корневой папки сайта.

Если строка запрета пуста, это говорит сканерам, что все они могут сканировать и индексировать каждую страницу на вашем сайте без ограничений (при условии, что у вас нет определенных страниц, помеченных как неиндексированные).

9. Ваш сайт использует JavaScript для отображения контента

Использование JavaScript само по себе не всегда является сложной проблемой, вызывающей трудности с индексацией. Нет единого правила, которое говорит, что JS — это единственное, что вызывает проблемы. Вы должны посмотреть на отдельный сайт и диагностировать состояние, чтобы определить, является ли это проблемой.

Когда JS вступает в игру как проблема, то есть предотвращает сканирование, делая сомнительные вещи — методы, которые могут быть похожи на маскировку.

Если вы отрендерили HTML, а не необработанный HTML, и у вас есть ссылка в необработанном HTML, которой нет в обработанном HTML, Google не может сканировать или индексировать эту ссылку. Определение проблем отображаемого HTML и необработанного HTML имеет решающее значение из-за ошибок такого типа.

Если вы хотите скрыть свои файлы JS и CSS, не делайте этого. Google упомянул, что хочет видеть все ваши файлы JS и CSS при сканировании.

Google хочет, чтобы вы поддерживали сканирование всех JS и CSS. Если какие-либо из этих файлов у вас заблокированы, вы можете разблокировать их и разрешить полное сканирование, чтобы предоставить Google нужное представление о вашем сайте.

10. Вы не добавили все свойства домена в Google Search Console

Если у вас несколько вариантов домена, особенно в ситуации, когда вы перешли с http:// на https://, вам необходимо добавить и проверить все варианты в Google Search Console. Важно убедиться, что вы не пропустили ни один из вариантов домена при их добавлении в GSC. Важно и подтвердить право собственности на все свойства домена, чтобы убедиться, что вы отслеживаете правильные. Для новых сайтов, которые только начинают свою работу, это, скорее всего, не будет проблемой.

11. Ваши метатеги установлены на Noindex, Nofollow

Иногда, по чистой случайности, метатеги устанавливаются на noindex, nofollow. Например, на сайте может быть ссылка или страница, которая была проиндексирована поисковым роботом Google, а затем удалена до перехода на noindex, nofollow был правильно настроен в серверной части вашего сайта. В результате эта страница, возможно, не была повторно проиндексирована, и если вы используете плагин, чтобы заблокировать Google от сканирования вашего сайта, эта страница может никогда больше не быть проиндексирована.

Решение простое: измените любые метатеги со словами noindex,nofollow, чтобы они читались как index, follow.

Однако, если у вас есть тысячи таких страниц, тогда предстоит тяжелая битва. Это один из тех моментов, когда вы должны стиснуть зубы и двигаться вперед с трудом. В конце концов, производительность вашего сайта будет вам благодарна.

12. Вы не используете Sitemap

Вам нужно использовать Sitemap! Карта сайта — это список всех страниц ресурса, а также один из способов Google узнать, какой контент у вас есть. Этот инструмент поможет гарантировать, что каждая страница будет просканирована и проиндексирована в Google Search Console. Если карта сайта отсутствует, Google работает вслепую, если только все ваши страницы в настоящее время не проиндексированы и не получают трафик.

Вы также можете использовать свою карту сайта, чтобы сообщить Google, какие страницы сайта являются важными, и вы хотите регулярно отправлять их для сканирования и индексации.

13. Вы были наказаны Google в прошлом и еще не исправили свои действия

Google неоднократно заявлял, что штрафы могут последовать за вами. Если у вас уже был штраф и вы не исправили свой поступок, Google не проиндексирует сайт.

Ответ на этот вопрос довольно прост: если Google наказывает за что-то, вероятно ничего нельзя с этим поделать, потому что штрафы следуют за вами повсюду, как незваный друг.

Вам интересно, почему вы все еще должны исключать некоторую информацию со своего веб-сайта, если у вас уже есть проблемы с поисковыми системами? Дело в том, что несмотря на то, что есть способы избежать наказания, многие люди не знают, как или уже не могут вносить эти изменения по каким-либо причинам (может быть, они продали свою компанию). Некоторые также думают, что простое удаление страниц и добавление старого контента на новый сайт будет работать так же хорошо (это не так).

Если вас оштрафовали, самый безопасный путь — полностью исправить свой поступок. У вас должен быть совершенно новый контент, и стоит перестроить домен с нуля или провести полную перестройку контента. Google объясняет, что они ожидают, что вам потребуется столько же времени, чтобы уйти от штрафа, сколько потребовалось, чтобы вы попали под него.

14. Ваше SEO недостаточно эффективно

Качественно выполненные работы по сайту не могут стоить дешево. Если вы хотите, чтобы сайт не просто появился в индексе, а и начал приносить доход, тогда над ним нужно регулярно работать. Правильное техническое SEO того стоит: Google и ваши пользователи полюбят вас.

Когда вам может помочь качественное SEO

Проблема: ваш сайт не достигает показателей Core Web Vitals.

Решение: техническое SEO поможет определить проблемы с вашими основными веб-жизненными показателями и предоставит путь к их устранению. Не полагайтесь только на стратегический аудит — он не всегда поможет в этих областях. Вам нужен полный технический SEO-аудит, чтобы выявить некоторые из этих проблем, потому что они могут варьироваться от совершенно простых до невероятно сложных.

Проблема: у вашего сайта трудности со сканированием и индексацией

Решение: они могут быть невероятно сложными, и для их обнаружения и исправления требуется опытный технический специалист по поисковой оптимизации. Вы должны определить их, если обнаружите, что у вас нулевая посещаемость или вы не получаете никакой производительности от своего сайта.

Проблема: файл robots.txt вашего сайта каким-то образом непреднамеренно блокирует доступ поисковых роботов к важным файлам.

Решение: Некоторые сайты находятся в таком глубоком упадке, что вы не видите другого выхода, кроме как удалить сайт и начать заново. Столь кардинальный вариант не всегда будет самым лучшим. Именно здесь опытный технический SEO-специалист на вес золота.

Итог

Выявление проблем с индексацией веб-сайтов — сложная задача, но ее стоит решить. Контент, техническое SEO и ссылки важны для поддержания траектории производительности любого ресурса. Но если у вашего сайта есть проблемы с индексацией, другие элементы SEO не помогут. Обязательно отметьте все галочкой и убедитесь, что вы действительно продвигаете свой сайт самым правильным образом.

И не забудьте оптимизировать каждую страницу по релевантным ключевым словам! Также стоит убедиться, что техническое SEO на должном уровне, потому что чем лучше Google сможет сканировать, индексировать и ранжировать сайт, тем лучшими будут ваши результаты.

Вікторія Драч

Главный редактор.