TextabraBot

Робот сервиса Textabra. Он заходит на сайт только по просьбе пользователя, который запустил сканирование этого сайта.

Как представляется робот

В заголовке запроса: TextabraBot/1.0 (+https://www.textabra.ru/bot)

Что соблюдает

  • правила Disallow и Allow из robots.txt для TextabraBot или *;
  • паузу Crawl-delay; если она не задана, делает паузу 0,5 секунды между запросами;
  • ходит последовательно, по одному запросу за раз;
  • за один обход загружает не больше 100 страниц и только HTML.

Как ограничить или запретить доступ

Добавьте в robots.txt на вашем сайте, например:

User-agent: TextabraBot
Crawl-delay: 5
Disallow: /private/

Чтобы закрыть сайт целиком, укажите Disallow: /. Если у вас есть вопросы, напишите нам через форму на странице «Контакты».