Disallow: *.gif – сайт открыт для поиска! Анализируем сайт!
В последнем случае стоит обратить внимание на интернет – страницы, закрытые от поиска.
Закрыть от поиска надо обязательно:
1) технические страницы (дубли);
2) неканонические.
Оптимизатор может закрыть любую интернет – страницу от поиска по собственному желанию!
Анализируем файл robots. txt. Обращаем внимание на закрытые от индекса интернет – страницы.
Файл robots. txt закрывает от индекса сайт в целом. Мета – тег может закрыть от индекса интернет – страницу по выбору.
– закрывает контент на странице. Весь контент на странице с этим мета – тегом не индексируется!
– закрывает индексацию ссылок на странице. Все ссылки не индексируются!
– не индексируется контент и ссылки.
Нужный код вставляется между тегами
Оптимизаторы – практики часто используют мета – теги для управления индексацией сайта. Это быстро и более надежно. Почему? В практике автора были случаи, когда поисковые роботы Яндекса индексировали закрытую в файле robots. txt интернет – страницу. Получается, что robots. txt – это рекомендательный файл? Да, именно так! А мета – теги роботы поиска рассматривают в виде указательных директив.
Итак, при аудите проверяем не только файл robots. txt, но открытость для индекса страниц сайта по мета – тегам. Это можно сделать с помощью программ (ниже перечень) или выборочно по каждой странице: переходим на необходимую страницу, подводим курсор в правый верхний угол страницы (именно интернет – страницы), нажимаем правой кнопкой мыши, в панели ссылок выбираем «просмотреть код страницы», на уровне первого экрана анализируем наличие запрещающих мета – тегов.