Использование метатегов для блокирования доступа к сайту

Чтобы полностью исключить вероятность появления содержания страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе.

Стандарт метатега noindex описан на странице www.robotstxt.org/meta.html. Если у вас нет доступа к корневому каталогу вашего сервера, этот способ может быть полезен для вас, так как позволяет управлять постраничным доступом к вашему сайту.

Чтобы запретить всем роботам индексировать страницу сайта, добавьте в раздел этой страницы следующий метатег:

<meta name="robots" content="noindex">

Чтобы запретить индексирование страницы на вашем сайте только роботам Google и разрешить ее индексирование другим роботам, добавьте следующий метатег:

<meta name="googlebot" content="noindex">

При наличии на странице метатега noindex Google полностью исключает эту страницу из результатов поиска, даже если на нее ссылаются другие страницы. Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.

Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Если ваша страница продолжает появляться в результатах, вероятно, мы еще не просканировали ваш сайт после добавления тега. (Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег.)

Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании. Чтобы ускорить удаление, используйте инструмент удаления URL в Инструментах Google для веб-мастеров.


Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: