Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта

Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта

На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По
его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».


В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

https://twitter.com/JohnMu/status/1192434849216434177

Для блокировки индексации можно использовать и директиву disallow:


Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».

https://twitter.com/JohnMu/status/1192743124570951680

Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

Источник

Отправить ответ

Please Login to comment
Войти с помощью: 
  Subscribe  
Notify of
Authorization
*
*
Войти с помощью: 
Registration
*
*
*
Войти с помощью: 

5 + six =

Password generation