Услуги
Виртуальный хостинг
Хостинг для 1С-Битрикс
Виртуальный сервер (VPS)
Виртуальный сервер RED.Site
Аренда серверов
Резервное копирование
Администрирование сервера
Домены
SSL-сертификаты
Компания
О компании
Документы
Дата-центр
Публичная оферта
Правила оказания услуг
Отзывы
Партнеры
Контакты
Клиентам
Блог
Акции
Новости
Условия оплаты
Справочный центр
Партнерская программа
Политика конфиденциальности
Партнерам
Справочный центр
Личный кабинет
Челябинск
Челябинск
Москва
Ваш городМосква?
Да Изменить
+7 (351) 225-64-56
+7 (351) 225-64-56
+7 (495) 008-31-24
Заказать звонок
info@reddock.ru
ул. Молодогвардейцев, д. 31, оф. 803
  • Вконтакте
  • Facebook
  • Instagram
  • YouTube
Надежный хостинг
для 1С-Битрикс
Челябинск
Челябинск
Москва
Ваш городМосква?
Да Изменить
+7 (351) 225-64-56
+7 (351) 225-64-56
+7 (495) 008-31-24
Личный кабинет
Справочный центр
Блог
Виртуальный хостинг
  • Хостинг для 1С-Битрикс
  • Классический хостинг
Виртуальный сервер (VPS)
  • Виртуальный сервер RED.Site
  • Классический VPS
Аренда серверов
Домены
SSL-сертификаты
Клиентам
  • Блог
  • Акции
  • Новости
  • Условия оплаты
  • Справочный центр
  • Партнерская программа
  • Политика конфиденциальности
Партнерам
    Виртуальный хостинг
    • Хостинг для 1С-Битрикс
    • Классический хостинг
    Виртуальный сервер (VPS)
    • Виртуальный сервер RED.Site
    • Классический VPS
    Аренда серверов
    Домены
    SSL-сертификаты
    Клиентам
    • Блог
    • Акции
    • Новости
    • Условия оплаты
    • Справочный центр
    • Партнерская программа
    • Политика конфиденциальности
    Партнерам
      • Виртуальный хостинг
        • Назад
        • Виртуальный хостинг
        • Хостинг для 1С-Битрикс
        • Классический хостинг
      • Виртуальный сервер (VPS)
        • Назад
        • Виртуальный сервер (VPS)
        • Виртуальный сервер RED.Site
        • Классический VPS
      • Аренда серверов
      • Домены
      • SSL-сертификаты
      • Клиентам
        • Назад
        • Клиентам
        • Блог
        • Акции
        • Новости
        • Условия оплаты
        • Справочный центр
        • Партнерская программа
        • Политика конфиденциальности
      • Партнерам
      • Мой кабинет
      • +7 (351) 225-64-56
        • Назад
        • +7 (351) 225-64-56
        • +7 (495) 008-31-24
        • Заказать звонок
      info@reddock.ru
      ул. Молодогвардейцев, д. 31, оф. 803
      • Вконтакте
      • Facebook
      • Instagram
      • YouTube
      • Главная
      • Блог
      • Безопасность
      • Подозрительный рост посещаемости сайта: как защититься от ботов

      Подозрительный рост посещаемости сайта: как защититься от ботов

      • Блог
      • Акции
      • Новости
      • Условия оплаты
      • Справочный центр
      • Партнерская программа
      • Политика конфиденциальности
      Заказать звонок
      Написать сообщение
      Оставить отзыв
      Ближайший офис

      Подписаться на
      рассылку

      Отправляем полезные письма о бизнесе, сайтах и хостинге каждые 2 недели

      Подписаться
      Подозрительный рост посещаемости сайта: как защититься от ботов - хостинг провайдер Reddock
      3 Февраля 2021
      Безопасность

      Рассказываем о том, как поисковые роботы создают всплеск фейковой посещаемости сайта и высокую нагрузку на сервер.

      Иногда владельцы сайтов встречаются с неожиданным всплеском посещений на ресурсе. Причиной такой активности могут быть боты.

      Боты — программы, которые выполняют простые действия на сайтах и повторяют их очень быстро: гораздо быстрее, чем это делал бы человек.

      Более известны поисковые боты: они изучают веб-страницы и вносят их в поисковую выдачу. Другие — например, боты сервисов SEO-анализа — направлены на изучение проектов заказчика или конкурента. Из-за их работы сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.

      В статье рассказываем о том, как поисковые роботы создают всплеск «фейковой» посещаемости сайта и высокую нагрузку на сервер.

      Содержание статьи
      • Как узнать, индексируются ли страницы поисковиками
      • Чем отличаются «плохие» поисковые боты
      • Как бороться с ботами
      • Что почитать о поисковых ботах

      Как узнать, индексируются ли страницы поисковиками

      Для начала работы с контролем посещения ресурса стоит узнать, какие страницы сейчас находятся в поиске. Легкий и удобный способ проверки — с помощью сервисов самих поисковых систем Яндекс и Google.

      В Яндекс.Вебмастере раскройте раздел «Индексирование» (1) и перейдите в «Проверить статус URL» (2). Введите адрес страницы (3) и нажмите «Проверить». После отображения результатов вы можете раскрыть их с помощью кнопки «Подробнее» и убедиться в том, что страница индексируется Яндексом.

      Для проверки страницы в Google перейдите в Google Search Console. Нажмите «Проверка URL» (1) и введите адрес страницы в поле (2).

      Результат будет показан на экране:


      Чем отличаются «плохие» поисковые боты

      Владельцам сайтов хорошо известны поисковые боты, однако не все они полезны. Их могут использовать во вред. Например, для сбора e-mail, искусственного всплеска посещения сайта, распространения вредоносного ПО и много другого. Сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.

      Зачастую «плохих» ботов непросто вычислить: они притворяются обычными пользователями, а в аналитике могут быть помечены как трафик с нормального сайта. На самом деле из-за посещения ботов происходит всплеск активности, который перегружает сервер и сайт перестает работать.

      Полный список ботов представлен международной библиотекой — ABC International Spiders and Bots List.

      Расскажем о часто встречающихся.

      SEMrushBot — бот аналитического сервиса semrush.com, предназначенный для обнаружения и сбора новых и обновленных веб-данных, а именно — для SEO-анализа сайта. Такие данные помогают найти технические проблему, улучшить удобство использования ресурса, отслеживать потенциально опасные обратные ссылки и многое другое.

      Он позволяет получить отчет SEO-параметров для вашего ресурса. Однако когда ваш сайт исследуют конкуренты, это отрицательно повлияет на бизнес. Бот сканирует сайт — одновременно посещает несколько веб-страниц, тем самым перегружает сервер и создает неудобства настоящим пользователям.

      DotBot — поисковый бот. Как и SEMrush, он предназначен для задач SEO. Бот собирает информацию и создает базу обратных ссылок на ресурсы сети. Отличается огромным «аппетитом» — создает большую нагрузку на сайт.

      AhrefsBot — бот аналитического сервиса ahrefs.com, который исследует внешние факторы онлайн-ресурсов. Он создает большую нагрузку на сервер во время поиска на веб-страницах ссылок на другие сайты.

      BLEXBot похож на ботов поисковых систем. Он посещает страницы и анализирует их содержание.

      BLEXBot помогает получить информацию о структуре ссылок на сайтах и ​​их взаимосвязи в сети, чтобы исключить любые технические и юридические проблемы. Для этого бот сканирует страницы, собирает и проверяет все ссылки, которые есть в их содержании.

      Как бороться с ботами

      Ботов — огромное количество, однако не стоит блокировать все известные. В этом случае появится вероятность перегрузить сервер, так как он будет проверять каждого нового пользователя на принадлежность боту. Рекомендуем блокировать только наиболее встречающихся, чтобы сайт работал в обычном режиме. Например, очистите трафик от SEMrush.

      На хостинге отфильтровать посещения сайта от ботов можно с помощью внесения правок в «robots.txt» или «.htaccess». Следуйте нашим инструкциям Справочного центра:
      • Ограничение с помощью «robots.txt».
      • Блокировка с помощью «.htaccess».
      • Как узнать имя бота.

      Если появятся вопросы, поможем по любому из способов связи: онлайн-чат на сайте, через личный кабинет, по почте support@reddock.ru, по телефону +7 (495) 008-31-24 или +7 (351) 225-64-56.

      Что почитать о поисковых ботах

      Тема ботов интересна и часто поднимается на самых разных ресурсах. Делимся самыми увлекательными.

      • Защищаем свой сайт от негативной накрутки и скликивания контекстной рекламы — SEO на vc.ru.

      • Боты атакуют! Странная накрутка ПФ на сайты — SEO на vc.ru.

      • Как я боролась с ботами и отрицательной накруткой поведенческих факторов.

      Желаем всем высокого трафика на проект без ботов!

      Не пропустите новые материалы и обновления — подпишитесь на нас в любимой соцсети: Instagram, ВКонтакте или Facebook.

      Поделиться
      Назад к списку
      © 2021 ИП Юзепчук Д.А.
      Лицензия №137282

      Сайт работает на
      «1С-Битрикс»
      • Вконтакте
      • Facebook
      • Instagram
      • YouTube
      +7 (351) 225-64-56
      +7 (351) 225-64-56
      +7 (495) 008-31-24
      Челябинск
      Челябинск
      Москва
      Услуги
      Виртуальный хостинг
      Хостинг для 1С-Битрикс
      Виртуальный сервер (VPS)
      Виртуальный сервер RED.Site
      Аренда серверов
      Резервное копирование
      Администрирование сервера
      Домены
      SSL-сертификаты
      Клиентам
      Блог
      Акции
      Новости
      Условия оплаты
      Справочный центр
      Партнерская программа
      Политика конфиденциальности
      Компания
      О компании
      Документы
      Дата-центр
      Публичная оферта
      Правила оказания услуг
      Отзывы
      Партнеры
      Контакты