Роботом РСЯ можно управлять с помощью дерективы Crawl-delay, которую нужно разместить в файле robots.txt. Данная директива влияет на скорость чтения Вашего сайта роботом РСЯ. Crawl-delay указывает на время паузы, которую будет делать робот между сканированием страниц. Если файл Роботс.тхт отсутствует, то продолжительность паузы по умолчанию - 2 секунды.
Скорость по умолчанию - оптимальная скорость для индексирования большинства сайтов и дает дополнительной нагрузки на хостинг и сервера. С паузой в 2 секунды, робот РСЯ может проиндексировать сайт с несколькими тысячами страниц за сутки. Если вы имеете достойный заработок на блоге или сайте с помозью контекстной рекламы, то данная опция вам будет интересна.
Сайты, у которых количество страниц исчисляется десятками тысяч, значение паузы необходимо ставить меньше 2 секунд. Если Робот сильно нагружает Ваш хостинг или сервер, то паузу лучше делать больше 2 секунд. Величиной задержки увлекаться не стоит, т.к. можно этим понизить качество рекламы и скорость монетизации.
