□ Дубли, связанные с индексацией страниц с www и без.
□ Дубли, связанные с возможностью зайти на сайт по IP.
□ Дубли, связанные с Session ID.
□ Дубли, связанные с сортировкой элементов в каталогах.
□ Дубли, связанные с пагинацией и календарем событий.
□ Индексация страниц внутренней поисковой выдачи (тут следует отметить, что «Яндекс» не желает индексировать такие страницы, но грань между страницей внутренней поисковой выдачи и страницей каталога довольно зыбка).
□ Страницы с поддоменов – зеркальных, тестовых и т. п.
Веселая история про тестовый поддомен. Забавная история из практики связана с тестовыми поддоменами. Клиент звонит в ужасе и говорит: «Мы попали под фильтр». – «Почему?» – «У нас одна страница в выдаче». Смотрим – правда, одна страница в выдаче. Непонятно, как так получилось. Вчера было несколько тысяч страниц, сегодня одна. Оказалось, программист, перенося сайт с тестового домена на основной, поскольку на тестовом все продумано, перенес и robots.txt со строчкой «disallow/». Все.
Все отмеченные ранее проблемы приводят к тому, что вес размывается, нужные страницы не индексируются и ранжирование осуществляется не по тем страницам, которые нам необходимы, а по тем, которые нашел робот. При создании нами портала все эти проблемы должны быть исключены.
Как выявлять подобные проблемы?
Большая разница между количеством проиндексированных страниц в кластере говорит о том, что какая-то система проиндексировала большое количество дублей (это почти всегда Google) или какая-то система вследствие большого количества ошибок не хочет полноценно индексировать кластер (мы не будем называть ее по имени, но это, конечно, «Яндекс»). Таким образом, разница в индексах является важным поводом для более пристального изучения.
HTML-код страниц разных типов
Детальное изучение кода страниц – очень кропотливая и неинтересная работа, но ее необходимо выполнить. Это позволит вам выявить ошибки, допущенные конкурентом, и решения, им разработанные. И то и другое необходимо учитывать при создании собственного сайта.
Типичные ошибки в коде:
□ избыточное и ничем не обоснованное использование тегов заголовков (например, выделение заголовком H1 (главный заголовок страницы) названия рубрики «Наши партнеры»);
□ незакрытые теги;
□ дублирование ссылок с размыванием анкорного веса (типичный пример – из каталога на страницу товара ведут три ссылки – с анкором в виде заглавия товара, с анкором в виде картинки и с анкором «Подробнее»).