ПОЛЗАНИЕ
Сканирование происходит, когда поисковая система запрашивает веб-страницы с серверов веб-сайтов.
Представьте, что Google, Яндекс и Microsoft Bing сидят за компьютером, вводят или нажимают ссылку на веб-страницу в окне своего браузера.
Таким образом, машины поисковых систем посещают веб-страницы так же, как и каждый из нас. Каждый раз, когда поисковая система посещает веб-страницу, она собирает копию этой страницы и отмечает все ссылки, найденные на этой странице. После того, как поисковая система соберет эту веб-страницу, она перейдет к следующей ссылке в своем списке ссылок, которые еще предстоит посетить.
Это называется «сканированием» или «пауками», что вполне уместно, поскольку сеть метафорически представляет собой гигантскую виртуальную сеть взаимосвязанных ссылок.
Программы сбора данных, используемые поисковыми системами, называются «пауками», «ботами» или «краулерами».
Основной программой сканирования Google является «Googlebot», в Яндекс – YandexBot/3, а у Microsoft Bing – «Bingbot». У каждого есть другие специализированные боты для просмотра рекламы (например, GoogleAdsBot и AdIdxBot), мобильных страниц и многого другого.
Этот этап обработки веб-страниц поисковыми системами кажется простым, но есть много сложностей в том, что происходит, только на этом этапе.
Подумайте о том, сколько может быть систем веб-серверов, работающих под управлением разных операционных систем разных версий, а также различных систем управления контентом (например, WordPress, Wix, Squarespace), а затем уникальных настроек каждого веб-сайта.
Многие проблемы могут помешать роботам поисковых систем, сканировать страницы, что является отличной причиной для изучения деталей, связанных с этим этапом.
Во-первых, поисковая система должна в какой-то момент найти ссылку на страницу, прежде чем она сможет запросить страницу и посетить ее. (Было известно, что при определенных конфигурациях поисковые системы подозревают, что могут быть другие, нераскрытые ссылки, такие как один шаг вверх в иерархии ссылок на уровне подкаталога или через некоторые ограниченные внутренние формы поиска на веб-сайте.)
Поисковые системы могут обнаруживать ссылки веб-страниц следующими способами:
· Когда администратор веб-сайта отправляет ссылку напрямую или раскрывает карту сайта поисковой системе.