В рамках работы по переводу Robots Exclusion Protocol (REP) в разряд официальных интернет-стандартов Google обновил свою документацию по robots.txt. Все изменения перечислены в новом разделе «What changed» на странице Robots.txt Specifications. В их числе значатся следующие: Удалён раздел «Язык требований»;...
