14 основних причин, чому Google не індексує ваш сайт

Якщо ви вважаєте, що Google має проблеми з індексацією вашого сайту, то, мабуть, наша стаття буде дуже цікавою. Ознайомтеся із важливими 14 проблемами індексації сайту та дізнайтесь, як їх вирішити.

Google не індексує ваш сайт? Ви не самотні. Існує безліч потенційних проблем, які можуть завадити Google індексувати веб-сторінки, і у цій статті розглядаються 14 найпоширеніших із них.

Якщо ви хочете знати, що робити, якщо ваш сайт не оптимізований для мобільних пристроїв або ви зіштовхнулися зі складними проблемами індексації, фахівці компанії PROject SEO підготували інформацію, яка вам знадобиться. Зі статті ви дізнаєтеся, як виправити поширені проблеми, щоб Google знову почав індексувати сторінки сайту.

1. У вас немає доменного імені

Перша причина, чому Google не індексуватиме будь-який сайт, полягає в тому, що відсутнє доменне ім’я. Це може бути пов’язано з тим, що ви використовуєте неправильну URL-адресу для контенту або вона неправильно налаштована в WordPress.

Якщо це відбувається, є кілька простих рішень:

Перевірте, чи починається веб-адреса з «https://XXX.XXX…», що означає, що хтось може вводити IP-адресу замість імені домену і перенаправлятися на ваш веб-сайт. Крім того, перенаправлення вашої IP-адреси може бути настроєно неправильно.

Один із способів, як вирішити цю проблему — додати переадресацію 301 із WWW-версій сторінок назад на відповідні домени. Якщо люди переправляються сюди, коли намагаються знайти щось на зразок [yoursitehere], ми хочемо, щоб вони потрапили на ваше фізичне доменне ім’я.

Важливо переконатися, що ви маєте доменне ім’я. Це не підлягає обговоренню, якщо ви хочете займати високу позицію і бути конкурентоспроможним у Google.

2. Ваш сайт не оптимізований для мобільних пристроїв

Зручність використання ресурсу на мобільних пристроях має вирішальне значення для індексації Google, оскільки він ввів індексування Mobile-First.

Незалежно від того, наскільки хороший контент на сайті, якщо він не оптимізований для перегляду на смартфоні або планшеті, ви втратите рейтинг та трафік. Мобільна оптимізація не повинна бути складною – просте додавання принципів адаптивного дизайну, таких як плаваюча розмітка та CSS Media Queries, може мати велике значення для того, щоб користувачі могли знайти те, що їм потрібно без будь-яких проблем з навігацією.

Перше, що ми рекомендуємо зробити з цією проблемою — запустити сайт за допомогою Google Mobile-Friendly Testing Tool. Якщо ви бачите повідомлення “пройдено читання”, вам потрібно зробити деяку роботу, щоб зробити сайт зручним для мобільних пристроїв.

3. Ви використовуєте мову кодування надто складним для Google способом

Google не буде індексувати сайт, якщо ви використовуєте складну мову кодування. Неважливо, яка мова — вона може бути старою або навіть оновленою, як JavaScript — якщо налаштування неправильні та викликають проблеми зі скануванням та індексуванням.

Якщо проблема виникла, рекомендуємо запустити Google Mobile-Friendly Testing Tool, щоб побачити, наскільки ваш сайт дійсно зручний для мобільних пристроїв (і внести будь-які виправлення, які можуть знадобитися). Якщо ж сайт ще не відповідає стандартам, буде запропоновано безліч ресурсів з рекомендаціями у різних сферах дизайну, які можуть виникнути при розробці адаптивної веб-сторінки.

4. Сайт завантажується повільно

Сайти з повільним завантаженням знижують ймовірність того, що Google покаже їх у топі результатів індексу. Якщо ваш сайт довго завантажується, це може бути пов’язано з багатьма різними факторами. Можливо, у вас занадто багато контенту на сторінці для браузера користувача або ви використовуєте застарілий сервер з обмеженими ресурсами.

Рішення:

• Використовуйте Google PageSpeed ​​Insights — це один із найкращих інструментів. Він допомагає визначити, які розділи сайту вимагають термінової уваги для підвищення його швидкості. Інструмент аналізує веб-сторінку відповідно до п’яти кращих рекомендацій щодо продуктивності (які мають вирішальне значення для більш швидкого завантаження сайтів), таких як мінімізація підключень, зменшення розміру корисного навантаження, використання кешування браузера тощо, і дає вам пропозиції про те як покращити кожен аспект.
• Використовуйте такий інструмент, як webpagetest.org — цей інструмент повідомить вам, чи сайт завантажується достатньо швидко. Це дозволить побачити конкретні елементи на сайті, які спричиняють особливі проблеми. Це дає змогу визначити серйозні проблеми зі швидкістю сторінки, перш ніж вона випаде з індексу.
• Знову використовуйте Google PageSpeed ​​— дізнайтеся, де можна покращити час завантаження сайту. Наприклад, можливо, варто перейти на новий хостинг з великою кількістю ресурсів (чисті виділені сервери набагато кращі, ніж загальні) або використовувати службу CDN, яка обслуговуватиме статичний контент зі свого кешу в кількох місцях по всьому світу.

В ідеалі переконайтеся, що швидкість сторінки досягає 70 або більше. В ідеалі якомога ближче до 100.

5. На вашому сайті мало добре написаного контенту

Добре написаний контент має вирішальне значення для успіху в Google. Якщо на сайті розміщено контент, який не відповідає рівню сайтів-конкурентів, тоді можуть виникнути серйозні проблеми навіть із потраплянням у ТОП-50. З нашого досвіду, контент, що містить менше 1000 слів, не такий ефективний, як контент, що містить більше 1000 слів. Але тут важлива і тематика сайту і знову ж таки кількість символів у статтях на сайтах конкурентів.

Коли ви вирішуєте, що робити в контексті конкуренції, переконайтеся, що ваш вміст добре написаний, це ключ до успіху. Контент на вашому сайті має бути якісним та інформативним. Він повинен відповідати на запитання, надавати інформацію або мати точку зору, яка досить відрізняється від інших сайтів у тій самій ніші, що й ваша. Якщо він не відповідає цим стандартам, Google, швидше за все, знайде інший сайт з якіснішим контентом і покаже його вище у видачі.

Якщо вам цікаво, чому веб-сайт не займає високі позиції в результатах пошуку Google за деякими ключовими словами, незважаючи на те, що він відповідає провідним методам SEO, таким як додавання релевантних ключових слів по всьому тексту, то одним з винуватців є “тонкий контент” на сторінці, де дійсно має бути більше ніж просто 100 слів!

“Тонкий контент” може спричинити проблеми з індексацією, тому що він не становить цінності для відвідувача і не відповідає мінімальним рівням якості порівняно з вашими конкурентами.

6. Ваш сайт незручний для користувача та не привабливий для відвідувачів

Наявність зручного та привабливого сайту має вирішальне значення для ефективного SEO. Google підвищить рейтинг сайту в результатах пошуку, якщо відвідувачам буде легко знаходити те, що вони шукають, та переміщатися по веб-сайту, не відчуваючи розчарування чи роздратування.

Google не хоче, щоб користувачі витрачали занадто багато часу на сторінку, яка або довго завантажується, або має заплутану навігацію, або просто складна у використанні, тому що занадто багато чинників, що відволікають (наприклад, реклама у верхній частині сторінки).

Якщо в кожній категорії вказано лише один продукт замість кількох, можливо, тому ваш контент погано ранжується в Google! Важливо не лише налаштувати націлювання на ключові слова в кожному пості, але й переконатися, що всі пов’язані статті посилаються на інші відповідні статті/сторінки на тему.

Чи подобається людям ділитися вашим блогом? Чи вражені читачі вашим контентом? Якщо ні, це може бути причиною того, що Google перестав індексувати ваш сайт.

Якщо хтось посилається безпосередньо на одну конкретну сторінку продукту, а не використовує відносні ключові слова, такі як “купити”, “замовити” тощо, можливо, щось не так з тим, як інші сторінки посилаються на цей конкретний продукт. Переконайтеся, що всі продукти, перелічені на сторінках категорій, також існують у кожній відповідній підкатегорії, щоб користувачі могли легко купувати без необхідності переміщатися за складною ієрархією посилань.

7. У вас є цикл перенаправлення

Цикли перенаправлення (Redirect Loop) – ще одна поширена проблема, що перешкоджає індексації. Зазвичай вони викликані звичайною опечаткою і можуть бути виправлені шляхом здійснення наступних кроків:

1. Знайдіть сторінку, яка викликає цикл перенаправлення. Якщо ви використовуєте WordPress, знайдіть вихідний HTML-код одного з ваших повідомлень на цій сторінці або у файлі .htaccess і знайдіть “Перенаправлення 301”, щоб побачити, з якої сторінки він намагається надіслати трафік. Також варто виправити всі перенаправлення 302 та переконатися, що вони встановлені на 301.
2. Використовуйте “знайти” у провіднику Windows (або Command+F, якщо це Mac) для пошуку у всіх файлах, що містять “перенаправлення”, поки не виявите, у чому проблема.

Виправте будь-які помилки, щоб не було повторення URL-адреси, що вказує на себе, а потім використовуйте код перенаправлення, як показано нижче:

Коди стану, такі як 404, не завжди відображаються в Google Search Console. Використовуючи зовнішній сканер, такий як Screaming Frog, ви можете знайти коди стану для 404 та інших помилок.

Якщо все виглядає добре, використовуйте Google Search Console, щоб знову просканувати сайт і повторно надіслати його на індексацію. Зачекайте тиждень або близько того, перш ніж знову зайти в Google Search Console, якщо з’являться нові попередження, що вимагають вашої уваги.

Google не має часу оновлювати свої індекси кожен день, але вони намагаються це робити кожні кілька годин, що означає, що іноді ваш контент може не відображатися відразу, навіть якщо ви знаєте, що він був оновлений. Потерпіть! Незабаром його буде проіндексовано.

8. Ви використовуєте плагіни, які блокують сканування вашого сайту роботом Googlebot.

Одним із прикладів такого плагіна є плагін robots.txt. Якщо за допомогою цього плагіна ви встановите для файлу robots.txt заборону індексувати свій сайт, робот Googlebot не зможе його просканувати.

Налаштуйте файл robots.txt і виконайте такі дії:

Під час створення зробіть його загальнодоступним, щоб пошукові роботи могли отримати доступ до нього без обмежень. Переконайтеся, що у файлі robots.txt немає наступних рядків:

User-agent: *

Disallow: /

Коса риска означає, що файл robots.txt блокує всі сторінки з кореневої папки сайту.

Якщо рядок заборони порожній, це говорить сканерам, що вони можуть сканувати та індексувати кожну сторінку на вашому сайті без обмежень (за умови, що у вас немає певних сторінок, позначених як неіндексовані).

9. Ваш сайт використовує JavaScript для відображення контенту

Використання JavaScript саме по собі не завжди є складною проблемою, яка викликає труднощі з індексацією. Немає єдиного правила, яке каже, що JS – це єдине, що спричиняє проблеми. Ви повинні подивитися на окремий сайт і діагностувати його стан, щоб визначити, чи це проблема.

Коли JS вступає в гру як проблема, тобто запобігає скануванню, роблячи сумнівні речі – методи, які можуть бути схожими на маскування.

Якщо ви відрендерили HTML, а не необроблений HTML, і у вас є посилання в необробленому HTML, якого немає в обробленому HTML, Google не може сканувати або індексувати це посилання. Визначення проблем відображеного HTML та необробленого HTML має вирішальне значення через помилки такого типу.

Якщо ви хочете приховати свої файли JS та CSS, не робіть цього. Google згадав, що хоче бачити всі ваші файли JS та CSS під час сканування.

Google хоче, щоб ви підтримували сканування всіх JS та CSS. Якщо будь-які з цих файлів заблоковані, ви можете розблокувати їх і дозволити повне сканування, щоб надати Google потрібне уявлення про ваш сайт.

10. Ви не додали всі властивості домену в Google Search Console

Якщо у вас є кілька варіантів домену, особливо в ситуації, коли ви перейшли з http:// на https://, вам необхідно додати та перевірити всі варіанти в Google Search Console. Важливо переконатися, що ви не пропустили жоден з варіантів домену під час їхнього додавання до GSC. Важливо й підтвердити право власності на всі властивості домену, щоб переконатися, що ви відстежуєте правильні. Для нових сайтів, які тільки-но починають свою роботу, це, швидше за все, не буде проблемою.

11. Ваші метатеги встановлені на Noindex, Nofollow

Іноді чисто випадково метатеги встановлюються на noindex, nofollow. Наприклад, на сайті може бути посилання або сторінка, яка була проіндексована пошуковим роботом Google, а потім видалена до переходу на noindex, nofollow був правильно налаштований у серверній частині вашого сайту. В результаті ця сторінка, можливо, не була повторно проіндексована, і якщо ви використовуєте плагін, щоб заблокувати Google від сканування вашого сайту, ця сторінка може ніколи не бути проіндексована.

Рішення просте: змініть будь-які метатеги зі словами noindex, nofollow, щоб вони читалися як index, follow.

Однак, якщо у вас є тисячі таких сторінок, тоді чекає важка битва. Це один з тих моментів, коли ви повинні стиснути зуби і рухатися вперед насилу. Зрештою, продуктивність вашого сайту буде вам вдячна.

12. Ви не використовуєте Sitemap

Вам потрібно використати Sitemap! Карта сайту – це список усіх сторінок ресурсу, а також один із способів Google дізнатися, який контент у вас є. Цей інструмент допоможе гарантувати, що кожну сторінку буде проскановано та проіндексовано в Google Search Console. Якщо карта сайту відсутня, Google працює наосліп, якщо всі ваші сторінки в даний момент не проіндексовані і не отримують трафік.

Ви також можете використовувати свою карту сайту, щоб повідомити Google, які сторінки сайту є важливими, і ви хочете регулярно надсилати їх для сканування та індексації.

13. Ви були покарані Google у минулому і ще не виправили своїх дій

Google неодноразово заявляв, що штрафи можуть йти за вами. Якщо ви вже мали штраф і не виправили свій вчинок, Google не проіндексує сайт.

Відповідь на це питання досить проста: якщо Google карає за щось, ймовірно нічого не можна з цим вдіяти, тому що штрафи йдуть за вами всюди, як непроханий друг.

Вам цікаво, чому ви все ще повинні виключати деяку інформацію зі свого веб-сайту, якщо у вас є проблеми з пошуковими системами? Справа в тому, що незважаючи на те, що є способи уникнути покарання, багато людей не знають, як або вже не можуть вносити ці зміни з будь-яких причин (можливо, вони продали свою компанію). Деякі також думають, що просте видалення сторінок і додавання старого контенту на новий сайт буде працювати так само добре (це не так).

Якщо вас оштрафували, найбезпечніший шлях – повністю виправити свій вчинок. У вас має бути абсолютно новий контент, і варто перебудувати домен з нуля або здійснити повну перебудову контенту. Google пояснює, що вони очікують, що вам потрібно стільки ж часу, щоб уникнути штрафу, скільки потрібно, щоб ви потрапили під нього.

14. Ваше SEO недостатньо ефективне

Якісно виконані роботи по сайту не можуть коштувати дешево. Якщо ви хочете, щоб сайт не просто з’явився в індексі, а почав приносити дохід, тоді над ним потрібно регулярно працювати. Правильне технічне SEO того варте: Google і ваші користувачі полюблять вас.

Коли вам може допомогти якісне SEO

Проблема: Ваш сайт не досягає показників Core Web Vitals.

Рішення: технічне SEO допоможе визначити проблеми з вашими основними веб-життєвими показниками та підкаже шлях до їхнього усунення. Не покладайтеся лише на стратегічний аудит – він не завжди допоможе у цих галузях. Вам потрібен повний технічний SEO-аудит, щоб виявити деякі з цих проблем, тому що вони можуть змінюватись від зовсім простих до неймовірно складних.

Проблема: у вашого сайту труднощі зі скануванням та індексацією.

Рішення: вони можуть бути неймовірно складними, і для їх виявлення та виправлення потрібен досвідчений технічний спеціаліст з пошукової оптимізації. Ви повинні визначити їх, якщо виявите, що у вас є нульова відвідуваність або ви не отримуєте жодної продуктивності від свого сайту.

Проблема: файл robots.txt вашого сайту певним чином ненавмисно блокує доступ пошукових роботів до важливих файлів.

Рішення: Деякі сайти знаходяться в такому глибокому занепаді, що ви не бачите іншого виходу, крім видалити сайту і почати з самого початку. Такий кардинальний варіант не завжди буде найкращим. Саме тут досвідчений технічний SEO-фахівець на вагу золота.

Підсумок

Виявлення проблем з індексацією веб-сайтів – складне завдання, але його варто вирішити. Контент, технічне SEO та посилання важливі для підтримки траєкторії продуктивності будь-якого ресурсу. Але якщо ваш сайт має проблеми з індексацією, інші елементи SEO не допоможуть. Обов’язково позначте все галочкою і переконайтеся, що ви дійсно просуваєте свій сайт у правильний спосіб.

І не забудьте оптимізувати кожну сторінку за релевантними ключовими словами! Також варто переконатися, що технічне SEO на належному рівні, тому що чим краще Google зможе сканувати, індексувати та ранжувати сайт, тим кращими будуть ваші результати.

Вікторія Драч

Головний редактор.