Loading
13180cdf2725243ed9e429f17e99d67a

Google перестанет поддерживать директиву noindex в robots.txt

Начиная с 1 сентября Google перестанет поддерживать неопубликованные и неподдерживаемые правила в Robots Exclusion Protocol. Это значит, что поисковик больше не будет поддерживать директиву noindex в файле robots.txt.

«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим релизам с открытым исходным кодом мы переведём в разряд устаревшего весь код, который обрабатывает неподдерживаемые и неопубликованные правила (такие, как noindex) 1 сентября 2019 года», — говорится в сообщении компании.

В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:

  • Noindex в метатегах robots;
  • Коды ответа сервера 404 и 410;
  • Disalow в robots.txt;
  • Инструмент удаления URL в Search Console;
  • Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.

Источник

Отправить ответ

Пожалуйста, авторизуйтесь чтобы добавить комментарий.
Войти с помощью: 
  Подписаться  
Уведомление о
Авторизация
*
*
Войти с помощью: 
Регистрация
*
*
*
Войти с помощью: 

один × четыре =

Генерация пароля