1. Справочный центр
  2. Виртуальный хостинг
  3. Всплеск посещаемости на сайт и высокая нагрузка на сервер: блокировка ботов
  4. Как заблокировать сайт от ботов
  5. Ограничение с помощью «robots.txt»

Ограничение с помощью «robots.txt»


Откройте панель управления вашей услугой:

На виртуальном хостинге перейдите в «Главное» (1) → «Менеджер файлов» (2). На сервере сразу в «Менеджер файлов».

Откройте каталог сайта (3) и выделите файл «robots.txt» (4). Раскройте подменю редактирования и нажмите «Открыть» (5).

Вы можете ограничить бота несколькими способами:

Строки в файл «robots.txt»

Ограничить определенные разделы сайта

User-agent: Имя_бота

Disallow: /название_раздела/

Disallow: /messages/

Ограничить весь сайт

User-agent: Имя_бота

Disallow: /

Уменьшить количество посещений бота

User-agent: Имя_бота

Crawl-delay: 10

Добавьте строки в начало файла и сохраните изменения.

Предыдущая статья Как заблокировать сайт от ботов
Следующая статья Блокировка с помощью «.htaccess»