<meta name=«robots» content=«nofollow»/> – закрывает индексацию ссылок на странице. Все ссылки не индексируются!
<meta name=«robots» content=«none»/> – не индексируется контент и ссылки.
Нужный код вставляется между тегами <head> </head>
Оптимизаторы – практики часто используют мета – теги для управления индексацией сайта. Это быстро и более надежно. Почему? В практике автора были случаи, когда поисковые роботы Яндекса индексировали закрытую в файле robots. txt интернет – страницу. Получается, что robots. txt – это рекомендательный файл? Да, именно так! А мета – теги роботы поиска рассматривают в виде указательных директив.
Итак, при аудите проверяем не только файл robots. txt, но открытость для индекса страниц сайта по мета – тегам. Это можно сделать с помощью программ (ниже перечень) или выборочно по каждой странице: переходим на необходимую страницу, подводим курсор в правый верхний угол страницы (именно интернет – страницы), нажимаем правой кнопкой мыши, в панели ссылок выбираем «просмотреть код страницы», на уровне первого экрана анализируем наличие запрещающих мета – тегов.
Вы ознакомились с фрагментом книги.
Приобретайте полный текст книги у нашего партнера: