Ограничение с помощью «robots.txt»

Откройте панель управления вашей услугой:

hosting.reddock.ru — для виртуального хостинга vHost и Bitrix (инструкция),
redID-сервера.rdock.ru — для виртуального сервера RED.Site (инструкция),
выделенным сервером (инструкция).

Далее перейдите в Главное (1) → Менеджер файлов (2). Перейдите в каталог сайта (3) и выделите файл «robots.txt» (4). Раскройте подменю редактирования и нажмите «Открыть» (5).

Вы можете ограничить бота несколькими способами:

	Строки в файл «robots.txt»
Ограничить определенные разделы сайта	User-agent: Имя_бота Disallow: /название_раздела/ Disallow: /messages/
Ограничить весь сайт	User-agent: Имя_бота Disallow: /
Уменьшить количество посещений бота	User-agent: Имя_бота Crawl-delay: 10

Добавьте строки в начало файла и сохраните изменения.

Предыдущая статья Как заблокировать сайт от ботов

Следующая статья Блокировка с помощью «.htaccess»

Справочный центр

Ограничение с помощью «robots.txt»