Новые правила обработки директив Allow и Disallow роботом Яндекса в файлах robots. txt

8 марта 2012 года Яндекс. Вебмастер уведомил об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого можно разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол «звёздочка» '*' не учитывается.

Если на вашем сайте в robots. txt совместно используются директивы 'Allow' и 'Disallow', следует проверить их на соответствие новым стандартам. В этом вам поможет специальная форма проверки robots. txt.

Подробнее об использовании директив вы можете прочитать в Помощи Яндекса.

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:

Перейти к верхней панели