Robots. txt
Для начала предлагаю проверить ваш сайт на технические показатели. Топ 5 занимают только технически качественные интернет – ресурсы. И сразу введите в строку поиска следующую фразу на латинице: «ivan.ru/robots. txt», где ivan.ru – домен сайта, robots. txt – файл, который показывает открыт ли сайт для индексации в поиске. Да, коллеги, сайт можно и закрыть для поиска. Для чего это делается? Как только вы разместили сайт на хостинге, на него «побежали» поисковые роботы или жуки. Я их называю трудягами поиска. И, если сайт еще дорабатывается, то открытый индекс навредит. Поэтому его надо закрыть от индексации. Этим мы показываем роботам, что не надо пока сканировать материалы.
Итак, что в итоге у нас должно быть после ввода вышеназванного словосочетания? Сразу расскажу про негативный момент. Как только увидели следующую информацию:
User-agent: *
Disallow: /
то сразу начинаем разбираться, почему это сделано. Так как это означает, что ваш сайт просто закрыт от индекса во всех поисковых системах.
User-agent: Yandex
Disallow: /
это показывает, что нет индексации только в ПС Яндекс.
User-agent: GoogleBot
Disallow: /
это то, что сайт закрыт для индекса в ПС Гугл.
Основные индексирующие роботы поиска:
• Поисковая система Яндекс – Yandex
• Поисковая система Гугл – GoogleBot.
Есть еще роботы, которые отвечают за каждый участок индексации сайта. Не будем их перечислять. Гугл всем в помощь!
Задайте вопрос разработчику, почему он не открыл индекс. Возможно он просто забыл, ну, а может он хочет заполучить вас, как постоянного заказчика в продвижении сайта? Предположим, после создания сайта принято решение продвигать сайт самостоятельно или с помощью «записок интернет – маркетолога» Игоря Новицкого. Создать сайт – это единовременный заработок. Заказчик заплатил и до свидания. Чего не скажешь про раскрутку в поисковых сетях. Это постоянная работа и стабильный заработок. К тому же, открою секрет, над МС надо попотеть только первое время, потом его ПС сами будут тянуть в топ 5. Нет, я не хочу сказать, что работа над ним прекратиться, но она уж точно уменьшится намного. Так вот, «нечистоплотные» разработчики это знают и просто «забывают» сайт открыть для индексации. Вы еще не прочли эту книгу и начинаете волноваться. И это понятно, деньги потрачены, сайт не приносит прибыль. Идете к разработчикам, они открывают сайт для индекса всего за одну минуту. Через определенное время ресурс показывает первые результаты в выдаче. Вы довольны, и теперь постоянно платите, чтобы сайт там и оставался. Прекрасная схема, не правда ли? Есть много подводных течений и уловок, чтобы привести заказчика обратно. О них я буду постепенно рассказывать на страницах книг.