2. Во вкладке "Паук" установите значение в поле "Глубина сканирования".
Такой подход обеспечит более полный обзор сайта и позволит вам находить скрытые ошибки на внутренних страницах.
Настройка фильтров для сканирования
После определения глубины сканирования следует заняться фильтрацией страниц. Например, вы можете исключить страницы с параметрами UTM, поскольку они часто не содержат полезной информации для SEO-анализа. Для этого перейдите в "Конфигурация" -> "Исключить" и добавьте правила фильтрации:
^.*\?.*$
Это правило исключает все URL, содержащие знаки вопроса, что позволит сосредоточиться на чистых адресах страниц. Следовательно, результаты будут более актуальными и полезными для анализа.
Настройка пользовательских агентов
Установка пользовательского агента является критически важной для того, чтобы ваш запрос к сайту выглядел как стандартный запрос от браузера. Это может помочь избежать блокировок со стороны некоторых веб-сайтов. Чтобы настроить пользовательский агент в Screaming Frog:
1. Откройте вкладку "Конфигурация".
2. Перейдите в "Пользовательский агент".
3. Выберите нужный агент или добавьте свой собственный.
Например, если вы хотите, чтобы ваши запросы выглядели так, как будто они идут от Chrome, установите соответствующий агент. Это значительно увеличивает шансы на успешное сканирование, особенно для сайтов, имеющих ограничения на загрузку со стороны сканеров.
Динамическое обновление JavaScript
Если ваш сайт использует динамический контент, загружаемый с помощью JavaScript, убедитесь, что Screaming Frog может корректно обрабатывать его. Включите опцию рендеринга JavaScript для сканирования. Для этого перейдите в "Конфигурация" -> "Паук" и установите галочку на "Рендеринг". Это позволит Screaming Frog создать снимок вашего сайта именно так, как его видит конечный пользователь.
Не забудьте проверить, насколько долго будет занимать рендеринг страниц. На больших сайтах это может занять много времени, и может потребоваться оптимизация времени загрузки.
Настройка лимита запросов
Для того чтобы не перегружать сервер во время сканирования, имеет смысл установить лимит запросов в минуту. Это важно не только для сохранения ресурсов вашего сайта, но и для предотвращения блокировок из-за превышения лимитов. Воспользуйтесь следующими шагами: