А как понять причину «возмездия»?
А. Ш.: Причина наказания качественного сайта может быть до такой степени неочевидной, что даже три-четыре аудитора, садясь вместе, очень долго будут копаться. Сам я сейчас, когда занимаюсь аудитом сайтов, действую очень просто: я прежде всего стараюсь понять, что именно было вытащено из информационного шума. Я вижу, по какой ниточке из информационного шума они пошли, и всегда отыщется уязвимая точка, где сделано не то. Только так. Если тупо сидеть и искать, вы ничего не найдете.
Другой аспект. Везде, на сайтах разработчиков CMS, на сайтах специалистов по безопасности, в очень многих серьезных источниках по SEO, выложены чек-листы по 20–30 пунктов, описано, чего не надо делать, какие технические погрешности на вашем сайте могут привести к наказанию со стороны поисковых машин. В 90 % случаев именно нарушение чисто технических требований и приводит к наказанию сайта, несмотря на то что разработчики сайта все это читали и вроде бы понимают: не нужно плодить дубли, надо закрывать от поисковых роботов все технические страницы, результаты сортировки, профили – все то, что не несет информации, релевантной содержанию сайта.
Беда в том, что если вы все перечисленное без задней мысли проделаете, то потеряете четыре пятых трафика, который у вас идет на эти паразитные страницы. Снова бросаемся с головой в информационный шум, выныриваем оттуда вот с такими глазами, с полной уверенностью в том, что чем больше у нас проиндексированных страниц на сайте, тем лучше он проиндексирован, чем больше трафик на сайт льется, тем круче. Да, если ваш сайт – СМИ и вы с трафика продаете рекламу, без вопросов. А если вы торгуете шинами или бриллиантами и добились того, что на ваш сайт в поисках бриллиантов заходит 50 тыс. человек в день? Чтобы радоваться этому – извините, господа, – надо быть полным глупцом! Потому что бриллиант и даже автомобильные шины – это не тот товар, который можно продать 50 тыс. покупателям. Значит, у вас столпится такая куча народа, что вы его не продадите.
Еще раз: не плодим дубли, категорически закрываем от индексации все технические страницы, в строгом соответствии с рекомендациями в «Яндексе» и Google составляем >robots.txt. На 95 % сайтов, аудит которых я проводил, >robots.txt был написан с синтаксическими (что не страшно, в общем-то) или фактическими ошибками. За последние два года мне три раза приходилось сталкиваться с тем, что сайт вылетал из индекса, поскольку веб-мастер нечаянно запретил индексацию сайта в файле robots.txt, просто написав строку