Loading
9a9681b07533686da412527978c7e84a

Google может индексировать заблокированные страницы без сканирования

Google может индексировать URL, заблокированные в robots.txt,

не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.

В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки и описания страниц.

Мюллер ответил так: «URL могут индексироваться без сканирования, если они заблокированы в robots.txt».


На вопрос, почему отображаются заголовки и ссылки, если URL не сканируются, Мюллер ответил: «Заголовки обычно берутся из ссылок, однако сниппетов не должно быть». При этом он добавил, что хотел бы взглянуть на сами URL, чтобы понять, в чём дело.

Как объяснил консультант по поисковому маркетингу Барри Адамс (Barry Adams), robots.txt – это инструмент для управления сканированием, но не индексированием. Чтобы предотвратить индексацию, нужно использовать соответствующую директиву в метатеге robots или HTTP-заголовки X-Robots-Tag. Но чтобы Googlebot увидел эти директивы, ему нужно разрешить сканировать эти страницы.

Джон Мюллер отметил твит Адамса «лайком».

Источник

Отправить ответ

Пожалуйста, авторизуйтесь чтобы добавить комментарий.
Войти с помощью: 
  Подписаться  
Уведомление о
Авторизация
*
*
Войти с помощью: 
Регистрация
*
*
*
Войти с помощью: 

2 × пять =

Генерация пароля