Всплеск посещаемости на сайт и высокая нагрузка на сервер: блокировка ботов


Владельцам сайтов хорошо известны поисковые боты. Они посещают сайты и индексируют их содержимое. После обхода веб-страницы можно найти в поисковой системе. Такими могут быть, например, боты Яндекса или Google.

Боты — программы, которые выполняют простые действия на сайтах и повторяют их очень быстро: гораздо быстрее, чем это делал бы человек.

Однако не все боты полезны онлайн-ресурсам. Их могут использовать во вред. Например, для сбора e-mail, искусственного всплеска посещения сайта, распространения вредоносного ПО и много другого. Сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.

В разделе собрана библиотека часто встречающихся ботов и показан способ их блокировки.