Robots

    robots

    Robots.txt являє собою файл текстового типу в кодуванні UTF-8. У ньому міститься основна рекомендація для роботів пошукових систем, що видно з назви. У ньому ж відображаються налаштування індексації сторінок на певному ресурсі. Завдяки їм робот бачить, які сторінки можна індексувати, а які заборонені для проведення такої процедури і чітко виконує вказівки, що застосовуються для налаштувань ресурсу.

    Файл традиційно знаходиться в кореневій папці основного сайту і доступний за адресою певного формату. Стандарт затверджений в 1994 році спеціальною комісією. Причому використання файлу даного типу є добровільним як для власників сервісів, так і для роботів пошукових систем.

    Основна мета і функції Роботс

    До основного завдання даного файлу фахівці відносять контроль за поведінкою роботів пошукових систем на ресурсі. Справа в тому, що після приходу на сайт, робот практично відразу використовує дані, що містяться в зазначеному файлі. Якщо він відсутній, то індексація буде проведена на всіх сторінках сайту. Через таку, здавалося б потрібну процедуру можуть виникнути наступні проблеми:

    • потрапляння конфіденційних документів і зайвих сторінок сайту в індексацію роботом;
    • робот не добереться до основного контенту на сайті, оскільки його час знаходження там обмежений, як і ресурси.

    Після обробки файлу роботи отримують інструкції для подальших дій, а також списки винятків для індексації. Зазвичай адміністратори вважають за краще приховувати такі розділи сайтів, як:

    • Панель Адміністратора;
    • файли системного призначення;
    • дані кешованого формату;
    • особисті кабінети користувачів і адміністрації;
    • форми реєстрації сайту.

    Список може поповнюватися і змінюватися в залежності від особистих уподобань власників ресурсів.

    Склад файлу Robots txt

    У складі файлу Robots присутні традиційно такі дані:

    • User-agent – це певне правило, яке вказує на те, яким роботам призначаються дані інструкції. Простий символ * означає, що дані вказівки, що входять в файл, застосовні для всіх відомих видів роботів і пошукових систем;
    • Disallow означає правило, яке забороняє індексувати той чи інший фрагмент, документ ресурсу. Можна вказати як сайт повністю, так і його окремі фрагменти;
    • Allow – за допомогою даної інструкції можна виставити дозволені фрагменти для індексації. Нерідко використовується для дозволу індексації певної частини сервісу;
    • Host – це директива, яка містить інформацію про дзеркало сайту. Варто пам’ятати про те, що з 2018 року система Яндекс офіційно від неї відмовилася, тому суворої необхідності в її прописі детальним чином немає. Але для коректної роботи сайту важливо, щоб на другорядних дзеркалах стояв редирект прикордонного формату 301;
    • Crawl-delay – за допомогою даного правила можна задати швидкість обходу ресурсу. За допомогою його можна задати правило інтервалу часу від завантаження певної сторінки. Допоможе в разі сильного навантаження на загальний сервер, коли робот індексацією може ще більше загальмувати роботу;
    • Clean-param – за допомогою даного правила можна налаштувати відсутність індексації роботом дублюючих сторінок, які необхідні іноді модераторам і творцям для роботи;
    • за допомогою команди Sitemap можна вказати роботам шлях до УРЛ файлів, допущених до індексації. У даній команді шлях лежить до вихідних даних в точці Sitemap.xml. При кожному новому відвідуванні робот буде доповнювати свою інформацію взятими даними про УРЛ вже з цього ресурсу.

    Яким чином заповнювати зазначені фрагменти доведеться вирішувати кожному власнику сайту індивідуально з урахуванням зазначених рекомендацій.

    Процес створення файлу Robots.txt

    Файл можна легко створити в будь-якому текстовому редакторі, а при збереженні прописати йому ім’я в форматі robots.txt. Після чого файл з робочого столу можна завантажити в кореневу папку сайту. Якщо сайт запущений в форматі блогу або новинного порталу, можна скачати традиційний варіант з ресурсу розробників, підкоригувавши його під конкретні особливості. Перевірити документ на працездатність можна за допомогою сервісів для вебмайстрів від провідних пошукових систем Google і Яндекс.

    < Попередня стаття
    Rambler
    Наступна стаття >
    RSS
    Поділитися:
    19.12.2019
    94

    Дивіться свіжі кейси:

    SEO кейси від НАС!

    Останні пости: