Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter. В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска...