Google может индексировать заблокированные страницы без сканирования

Stats: 720 1
Author: admin
Category: SEO, Просування сайту. Копірайт, Статті
Comments: Комментариев нет
Tags: X-Robots-Tag, индексировать заблокированные страницы

Заказать рекламу: info@it-media.kiev.ua Звоните: +380934169249

Google может индексировать URL, заблокированные в robots.txt,

не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.

В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки и описания страниц.

Мюллер ответил так: «URL могут индексироваться без сканирования, если они заблокированы в robots.txt».

https://twitter.com/JohnMu/status/1110665054414954498

На вопрос, почему отображаются заголовки и ссылки, если URL не сканируются, Мюллер ответил: «Заголовки обычно берутся из ссылок, однако сниппетов не должно быть». При этом он добавил, что хотел бы взглянуть на сами URL, чтобы понять, в чём дело.

Как объяснил консультант по поисковому маркетингу Барри Адамс (Barry Adams), robots.txt – это инструмент для управления сканированием, но не индексированием. Чтобы предотвратить индексацию, нужно использовать соответствующую директиву в метатеге robots или HTTP-заголовки X-Robots-Tag. Но чтобы Googlebot увидел эти директивы, ему нужно разрешить сканировать эти страницы.

Джон Мюллер отметил твит Адамса «лайком».

Источник