Google завершает запуск новых агентов пользователя Googlebot

Сотрудник Google Мартин Сплитт ответил в Twitter на вопросы, связанные с обновлением агентов пользователя Googlebot.

Так, в декабре Google планировал запустить новые user-agents, которые должны отображать актуальную версию Chrome (в старой версии указан Chrome 41). Как известно, после запуска «вечнозелёного» Googlebot поисковик продолжал использовать старых агентов пользователя.

В январе вебмастера начали видеть новые user-agents с актуальной версией Chrome в журналах сервера. Однако многие по-прежнему наблюдают старых агентов пользователя, в строках которых указан Chrome 41.

Сегодня Мартин Сплитт заявил, что запуск новых user-agents уже должен быть завершён:

https://twitter.com/g33konaut/status/1224819833621176320

Однако в комментариях некоторые специалисты отметили, что по-прежнему видят Chrome 41.

Сплитт написал, что запуск во всех дата-центрах может занять какое-то время:

Can take a while to roll out to all data centers, but one way or another: It's been the evergreen one either way 🙂

— Martin Splitt at #FOS20 (@g33konaut) February 5, 2020

Консультант по интернет-маркетингу Гленн Гейб, известный в SEO-сообществе, также оказался в числе тех, кто не видит новых агентов пользователя. Поэтому он попросил Мартина уточнить, действительно ли запуск уже завершён.

Hi Martin. I'm not seeing the new UA as of yesterday. Just pulled the latest logs for a site and it's still the old UA. Are you sure that's fully rolled out now? Weird I would still see the old UA.

— Glenn Gabe (@glenngabe) February 5, 2020

I know the evergreen googlebot is being used, but the UA hasn't changed. Based on what Martin said, it sounds like it should have. But I still see the old as of yesterday. Just trying to find out.

— Glenn Gabe (@glenngabe) February 5, 2020

В ответ Сплитт отметил, что для первоначального сканирования перед рендерингом, в ходе которого HTML-код передаётся сервису обработки веб-страниц (Web Rendering Service, WRS), user-agents, вероятно, не изменились.

Он также прояснил сам процесс обработки страниц: изначально Googlebot делает HTTP-запрос на получение HTML-кода страницы. Это делается с помощью старых агентов пользователя. Затем WRS обрабатывает страницу, загружая этот HTML и извлекая связанные ресурсы. Это делается с помощью нового user-agent.

Иногда WRS
сканирует страницу снова, и тогда тоже используется новый агент пользователя.

В комментариях один из вебмастеров уточнил:

«Получается, Chrome 79 – это WRS, а Chrome 41 – получение простого HTML?».

Сплитт ответил «Да» и добавил:

«На разных этапах может быть выбран разный UA для отправки запроса. WRS использует новый UA. Но! Гипотетически любая часть, которая может в свою очередь вызвать WRS, может предоставить старый UA. Поэтому будьте осторожны, делая выводы из одного лишь UA».

Со всем обсуждением в Twitter можно ознакомиться по ссылке.

Источник