Рассказываем о том, как поисковые роботы создают всплеск фейковой посещаемости сайта и высокую нагрузку на сервер.
Иногда владельцы сайтов встречаются с неожиданным всплеском посещений на ресурсе. Причиной такой активности могут быть боты.
Боты — программы, которые выполняют простые действия на сайтах и повторяют их очень быстро: гораздо быстрее, чем это делал бы человек.
Более известны поисковые боты: они изучают веб-страницы и вносят их в поисковую выдачу. Другие — например, боты сервисов SEO-анализа — направлены на изучение проектов заказчика или конкурента. Из-за их работы сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.
В статье рассказываем о том, как поисковые роботы создают всплеск «фейковой» посещаемости сайта и высокую нагрузку на сервер.
Как узнать, индексируются ли страницы поисковиками
Для начала работы с контролем посещения ресурса стоит узнать, какие страницы сейчас находятся в поиске. Легкий и удобный способ проверки — с помощью сервисов самих поисковых систем Яндекс и Google.
В Яндекс.Вебмастере раскройте раздел «Индексирование» (1) и перейдите в «Проверить статус URL» (2). Введите адрес страницы (3) и нажмите «Проверить». После отображения результатов вы можете раскрыть их с помощью кнопки «Подробнее» и убедиться в том, что страница индексируется Яндексом.
Для проверки страницы в Google перейдите в Google Search Console. Нажмите «Проверка URL» (1) и введите адрес страницы в поле (2).
Результат будет показан на экране:
Чем отличаются «плохие» поисковые боты
Владельцам сайтов хорошо известны поисковые боты, однако не все они полезны. Их могут использовать во вред. Например, для сбора e-mail, искусственного всплеска посещения сайта, распространения вредоносного ПО и много другого. Сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.
Зачастую «плохих» ботов непросто вычислить: они притворяются обычными пользователями, а в аналитике могут быть помечены как трафик с нормального сайта. На самом деле из-за посещения ботов происходит всплеск активности, который перегружает сервер и сайт перестает работать.
Полный список ботов представлен международной библиотекой — ABC International Spiders and Bots List.
Расскажем о часто встречающихся.
SEMrushBot — бот аналитического сервиса semrush.com, предназначенный для обнаружения и сбора новых и обновленных веб-данных, а именно — для SEO-анализа сайта. Такие данные помогают найти технические проблему, улучшить удобство использования ресурса, отслеживать потенциально опасные обратные ссылки и многое другое.
Он позволяет получить отчет SEO-параметров для вашего ресурса. Однако когда ваш сайт исследуют конкуренты, это отрицательно повлияет на бизнес. Бот сканирует сайт — одновременно посещает несколько веб-страниц, тем самым перегружает сервер и создает неудобства настоящим пользователям.
DotBot — поисковый бот. Как и SEMrush, он предназначен для задач SEO. Бот собирает информацию и создает базу обратных ссылок на ресурсы сети. Отличается огромным «аппетитом» — создает большую нагрузку на сайт.
AhrefsBot — бот аналитического сервиса ahrefs.com, который исследует внешние факторы онлайн-ресурсов. Он создает большую нагрузку на сервер во время поиска на веб-страницах ссылок на другие сайты.
BLEXBot похож на ботов поисковых систем. Он посещает страницы и анализирует их содержание.
BLEXBot помогает получить информацию о структуре ссылок на сайтах и их взаимосвязи в сети, чтобы исключить любые технические и юридические проблемы. Для этого бот сканирует страницы, собирает и проверяет все ссылки, которые есть в их содержании.
Как бороться с ботами
Ботов — огромное количество, однако не стоит блокировать все известные. В этом случае появится вероятность перегрузить сервер, так как он будет проверять каждого нового пользователя на принадлежность боту. Рекомендуем блокировать только наиболее встречающихся, чтобы сайт работал в обычном режиме. Например, очистите трафик от SEMrush.
На хостинге отфильтровать посещения сайта от ботов можно с помощью внесения правок в «robots.txt» или «.htaccess». Следуйте нашим инструкциям Справочного центра:
Если появятся вопросы, поможем по любому из способов связи: онлайн-чат на сайте, через личный кабинет, по почте support@reddock.ru, по телефону +7 (495) 008-31-24 или +7 (351) 225-64-56.
Что почитать о поисковых ботах
Тема ботов интересна и часто поднимается на самых разных ресурсах. Делимся самыми увлекательными.
-
Защищаем свой сайт от негативной накрутки и скликивания контекстной рекламы — SEO на vc.ru.
-
Как я боролась с ботами и отрицательной накруткой поведенческих факторов.
Желаем всем высокого трафика на проект без ботов!
Не пропустите новые материалы и обновления — подпишитесь на нас в любимой соцсети: Instagram, ВКонтакте или Facebook.