IndexNow – протокол для быстрой индексации страниц

Вы уже в курсе об IndexNow? Если нет, то мы подготовили краткий обзор протокола. В нем мы раскроем, что знаем на данный момент о том, как он работает, кто его поддерживает и о преимуществах индексирования в реальном времени.

Что такое IndexNow и что нужно знать об инструменте для SEO?

Поисковые системы уже давно находят контент однаковыми способами. В 1993 году JumpStation был первым инструментом для обнаружения страниц в Интернете. Он отправлял ботов для сканирования стриниц сайтов и создавал карты контента/индекса. Остальные поисковые системы использовали этот процесс в качестве способа поиска нового контента.

Этот процесс был включен в алгоритм, который также учитывал контент, релевантность и другие факторы — так родилась поисковая оптимизация в том виде, в каком мы ее знаем. Вскоре опытные в SEO веб-издатели осознали важность индексации для обеспечения высокого рейтинга в поисковых системах. Фактически, без проиндексированного контента веб-сайт не будет генерировать органический трафик.

Но в этом и заключается загвоздка: если вы не крупный веб-сайт с высокой посещаемостью, могут пройти дни или даже недели, прежде чем поисковая система просканирует ваш сайт и проиндексирует новые страницы. И даже если вы являетесь крупным сайтом электронной коммерции или торговой площадкой, движкам могут потребоваться недели, чтобы найти новые поступления или продукты, которых нет в наличии, особенно когда вы зависите от возможности обнаружения с помощью базового сканирования. Между тем, вы, возможно, потеряли важный трафик и позиции по отношению к конкурентам.

Чтобы упростить этот процесс, в октябре 2021 года Microsoft Bing выпустила новую инициативу под названием IndexNow.

Так что же такое IndexNow?

IndexNow — это протокол с открытым исходным кодом, который позволяет издателям веб-сайтов мгновенно индексировать участвующие поисковые системы, обновляя результаты на основе последних изменений контента. Проще говоря, это простой пинг, который уведомляет поисковые системы о том, что URL-адрес и его содержимое были добавлены, обновлены или удалены. Устраняя необходимость в поисковом сканировании, IndexNow стремится повысить общую эффективность Интернета.

Как работает IndexNow?

Есть два разных способа, с помощью которых поисковые системы получают данные индекса: Pull и Push.

• Pull индексация по запросу происходит, когда поисковая система посещает ваш сайт для запроса веб-страниц и собирает данные с сервера. Так обычно работают поисковые системы.
• Push (принудительное) индексирование — это когда веб-издатель или система управления контентом уведомляет поисковую систему о добавлении или удалении страниц, а также о других изменениях.

Вот что действительно является революционным в IndexNow — он позволяет всем URL-адресам, отправленным в любую поисковую систему с поддержкой IndexNow, одновременно отправляться во все другие поисковые системы, использующие протокол.

Какие поисковые системы используют IndexNow?

На момент Bing и Яндекс используют IndexNow. Также поисковая система Google подтвердила, что тестирует протокол IndexNow. Основные опасения Google по поводу IndexNow, по-видимому, связаны с устойчивостью и эффективностью. Google в настоящее время использует HTTP/2, эффективный фундаментальный протокол передачи данных для более чем половины всех сканирований, и в конечном итоге может решить, что он лучше подходит для их нужд. Или же в Google создадут свою собственную альтернативу, если решат, что подход на основе API необходим. Google очень строго относится к API индексации своих приложений, который только сейчас используется для объявлений о вакансиях и контента прямых трансляций. Изменение взглядов Google здесь может стать глобальным изменением для SEO-специалистов и владельцев сайтов.

Индексация страницы с помощью Google Indexing API

Паралельно с тестированием протокола IndexNow, Google использует свой собственный API индексирования.

Indexing API позволяет любому владельцу сайта напрямую сообщать Google о добавлении или удалении страниц. Благодаря этому Google может планировать их сканирование, что способствует повышению качества трафика. Для сайтов, где много таких страниц с коротким жизненным циклом, этот инструмент обеспечивает показ актуального контента в результатах поиска, потому что обновления могут передаваться по отдельности.

С помощью Google Indexing API можно выполнить следующие действия c URL:

• Обновление.
• Удаление.
• Получение статуса запроса.
• Отправка на индексирование пакетных запросов.

Google рекомендует использовать именно Indexing API вместо файлов Sitemap, потому он инициирует сканирование страниц роботом Googlebot раньше, чем обновленная карта сайта передается в Google. Однако если необходим полный охват контента на ресурсе, все-таки рекомендованно отправлять файл Sitemap.

Как использовать Google Indexing API?

Уведомление поисковых систем об обновлениях на сайте с помощью Indexing API — достаточно просто:

1. Зарегистрироваться в Google Cloud Platform.
2. Создать проект по правам “Owner”.
3. Сгенерировать сервисный JSON ключ.
4. Активировать Google API в Google Cloud Platform.
5. Предоставить права владельца сайта в GSC для созданного Service account ID.
6. Загрузить и установить библиотеку скриптов Google Indexing API и Node.js.
7. Отправить список URL для индексации.

Какие инструменты синхронизируются с IndexNow?

Любой разработчик веб-сайта может использовать описанный здесь процесс, чтобы воспользоваться преимуществами IndexNow. Ряд крупных компаний, в том числе LinkedIn, MSN и GitHub, планируют переход на IndexNow. Кроме того, другие поставщики поисковых решений, такие как Botify, OnCrawl, Onely и Yext, находятся в процессе принятия этого протокола. Разные CMS системы также “прыгают на борт”. WordPress уже разработала плагин IndexNow, а Wix планирует интегрировать его в ближайшее время.

Bing недавно объявил об интеграции Rank Math и All In One SEO для IndexNow. Сети доставки контента (CDN), поддерживающие IndexNow, включают Cloudflare и Akamai. Через прокси-серверы это ускорит доставку данных и приблизит их к пользователям.

Каковы преимущества использования IndexNow?

Основным преимуществом IndexNow для разработчиков является не только акцент на эволюции индексации от запроса к запросу, но и сокращение времени между внесением обновлений и их обнаружением поисковыми системами.

Позволяя веб-мастерам уведомлять все участвующие URL-адреса с помощью одного вызова API, поиск и обновление контента ускоряется, что делает Интернет более эффективным. Это выгодно владельцам сайтов, так как нагрузка на сервера снижается, поисковые роботы не тратят время на сканирование всех страниц, сразу определяют какая страница была обновлена.

Но также следует заметить, что использование IndexNow не гарантирует моментального индексирования всех страниц, возможно на отражение всех изменений потребуется время.

За материалами searchenginejournal.com.

Вікторія Драч

Главный редактор.