9a9681b07533686da412527978c7e84a

Google может индексировать заблокированные страницы без сканирования

Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter. В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска...

Authorization
*
*
Войти с помощью: 
Registration
*
*
*
Войти с помощью: 

1 + 15 =

Password generation