Ограничение с помощью «robots.txt»


Перейдите в панель управления — виртуальным хостингом (инструкция), виртуальным сервером (инструкция) или выделенным сервером (инструкция).

Далее в Главное (1) → Менеджер файлов (2) → Файл «robots.txt» (3).

Вы можете ограничить бота несколькими способами:

Строки в файл «robots.txt»

Ограничить определенные разделы сайта

User-agent: Имя_бота

Disallow: /название_раздела/

Disallow: /messages/

Ограничить весь сайт

User-agent: Имя_бота

Disallow: /

Уменьшить количество посещений бота

User-agent: Имя_бота

Crawl-delay: 10

Добавьте строки в начало файла и сохраните изменения.