Директива Disallow. Директивой указывается, какая из директорий сайта не подлежит индексированию. К примеру, закрыть файл либо папку от индексации можно, указав атрибуты Disallow: /file.html Disallow: /papka/.
Ошибки, совершаемые при оптимизации страниц сайта
При оптимизации страниц сайта совершаются ошибки. Их характеристики следуют.
Ошибка, касающаяся навигации через скрипты. Чтобы обеспечить ссылку на другую страницу сайта, правильно с позиций оптимизации применять тег <а>. Но некоторые прибегают к использованию других технологий, например Flash или JavaScript. Это не дает перехода, их применять не стоит. Но если не получилось этого избежать, надо осуществить дублирование ссылок с помощью тега <а>.
Ошибка, касающаяся использования множества редиректов. Множество редиректов использовать без особой нужды не надо. Чтобы перенаправлять пользователей на новые страницы со старых, лучше прибегать к использованию 301 редиректа.
Ошибка, состоящая в допущении дублей страниц. Каждой из страниц сайта необходимо быть доступной лишь по одному физическому адресу. Но если это не обеспечено, нужно страницу либо удалить, либо закрыть ее от индексации в robots. txt. В адрес страницы не следует включать идентификаторы сессий, списки CGI – параметров (Common Gateway Interface CGI – стандарт интерфейса (связи) внешней прикладной программы с информационным сервером типа http).
Ошибка, состоящая в использовании клоакинга. При клоакинге используют различные методы, благодаря которым поисковикам и пользователям оказывается видимым разное содержимое страниц веб-сайта. Один из способов клоакинга —
помещение скрытого текста на сайте. Клоакинг причисляют к исключительно «черному» методу продвижения, с которым борются все поисковые машины, поэтому прибегать к его использованию категорически не стоит.
Ошибка, касающаяся наличия пустых страниц. Чтобы успешно продвигать веб-сайт, рекомендуется не допускать наличия большого числа пустых страниц, содержащих мало информации (менее 500 символов или одно изображение).
Ошибка, имеющая отношение к подключению страницы с 404 ошибкой без проверки. При отсутствии страницы либо ее удалении, либо в ином случае требуется подключение страницы с 404-ошибкой. Но надо осуществить проверку, чтобы при обращении к ней, ответ сервер был HTTP/1.1 404 Not Found. Иначе подобная страница может оказаться проиндексированной поисковиками.