Loading
1722aca6dee9b0063f3dc49ecc5c7489

Стали известны новые детали работы обновлённого Googlebot

На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.

Старый агент пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый
вариант, в котором упоминается Chrome 41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.


При этом в Google планируют обновить user-agent в будущем:


Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.


На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплит ответил стандартной фразой: «[Нам] пока не о чем объявить».


Объём сканирования останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет ли Googlebot сканировать меньше страниц при одном и том же краулинговом
бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.

https://twitter.com/g33konaut/status/1126141957917425664

Поддержка новых функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.

https://twitter.com/g33konaut/status/1126412496754159616

Googlebot пока обновлён не во всех инструментах Google

Googlebot используется в разных сервисах и подразделениях Google, однако не во всех из них краулер уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли на обновлённую версию Googlebot, но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.

Новый user- agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.



В Google пока не ответили, что это за user-agent:


Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.

Источник

Отправить ответ

Пожалуйста, авторизуйтесь чтобы добавить комментарий.
Войти с помощью: 
  Подписаться  
Уведомление о
Авторизация
*
*
Войти с помощью: 
Регистрация
*
*
*
Войти с помощью: 

12 + семь =

Генерация пароля