
Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта
- Stats: 762 1
- Author: admin
- Category: SEO, Просування сайту. Копірайт, Статті
- Comments: Комментариев нет

На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.
Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По
его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».
Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL.
It only has special meaning for crawling, but there its index status doesn't matter at all. pic.twitter.com/bBMXy1XcRF— Gary "鯨理/경리" Illyes (@methode) November 6, 2019
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.
https://twitter.com/JohnMu/status/1192434849216434177
Для блокировки индексации можно использовать и директиву disallow:
Tip: "disallow: /" also includes /robots.txt.
— ⛰ johnmu is not a cat ⛰ (@JohnMu) November 7, 2019
«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».
Отправить ответ