С запретом разобрались. Теперь вы знаете, как проверить индексацию и можете даже помогать своим друзьям и знакомым. Разбираемся дальше с файлом robots. txt.
С его помощью можно запрещать не только сайт весь, но и отдельные страницы. Кстати, некоторые надо запрещать в обязательном порядке. Это: технические страницы, дублированные и те страницы, которые вы не хотите видеть в ПС. Мой совет: создать файл robots. txt я помогу, а интегрировать его надо поручить человеку, который разбирается в этом. Так как файл должен лежать в папке на хостинге. И упаси вас Бог, сделать что – то не так по неопытности.
Так для чего же все – таки необходим этот файл? Приведу простой пример и перенесем его на реальную жизнь. Роботы поиска приходят на ваш сайт и видят много, иногда очень много дверей. Под дверями я подразумеваю интернет – страницы. Они гадают, входить – не входить. Именно robots. txt показывает в какую дверь надо входить, а в какую нет.
Помимо robots. txt жукам помогает карта сайта – sitemap. Она создается, чтобы роботы не «заблудились», а четко и быстро просканировали все нужные страницы. Карту тоже надо создавать в ручном порядке, спросите вы? Нет, ни карту, ни файл robots. txt, не надо создавать руками. Для этого есть бесплатные программы. Для sitemap: mysitemapgenerator.com. Для robots. txt: pr-cy.ru. С этими программами очень легко работать. Они сами за вас все создадут. Останется только отдать файлы человеку, который занимается технической поддержкой сайта.