Google может полностью убрать поддержку директивы noindex в robots.txt

Google уже многие годы говорит вебмастерам, что не поддерживает директиву noindex в файле robots.txt. Однако некоторые SEO-специалисты по-прежнему её используют. Поэтому в компании задумались над тем, чтобы полностью отказаться от этой директивы и сделать так, чтобы она не работала. Об этом заявил сотрудник поиска Гэри Илш в ходе обсуждения на эту тему в Twitter.

Обсуждение инициировал один из пользователей соцсети. Он обратился к Джону Мюллеру и попросил совета относительно использования noindex в robots.txt. Однако Мюллер ответил, что официально эта директива не поддерживается:

https://twitter.com/JohnMu/status/1118470501679104000

Известный западный SEO-консультант Мари Хэйнс (Marie Haynes) на это отметила, что по мнению многих специалистов, она по-прежнему неплохо работает:

In case you were wondering, Google doesn't officially support use of noindex in your robots.txt.

Many believe it still works fine though.

Here's a good article by @DeepCrawl with more on use of noindex in the robots.txt file.https://t.co/UF7EubWSfs https://t.co/CjNm2dJ1dO

— Marie Haynes (@Marie_Haynes) April 17, 2019

Здесь к обсуждению присоединился Гэри Илш, который сказал, что в скором времени это может
измениться.

«Я сейчас чищу эту часть кодовой базы Googlebot, а эта штука торчит, как
монахиня в мош-пите», — написал он.

This may go away. I'm cleaning up that part of the googlebot codebase nowadays and that thing sticks out like a nun in a mosh pit

— Gary "鯨理" Illyes (@methode) April 18, 2019

Далее он добавил, что «технически robots.txt предназначен для сканирования.
Метатеги – для индексирования. Во время индексации они будут применяться на
одной и той же стадии, поэтому нет никаких веских оснований иметь их обоих».

На что один из специалистов отметил, что директива noindex в robots.txt — это очень полезная функция при взаимодействии с внешними разработчиками/агентствами — когда не получается получить доступ к конкретному поддомену.

Илш ответил, что проведёт исследование, чтобы посмотреть, как вебмастера используют эту директиву. Если таких будет много, то он обсудит этот вопрос с вышестоящим руководством.

Alright. I'll run a study to see how people are using it. If the majority are screwing themselves with it, then I'll go ahead for approvals

— Gary "鯨理" Illyes (@methode) April 18, 2019

Напомним, в 2017 году стало известно, что для Google директива Noindex, follow со временем переходит в Noindex, nofollow.

Источник