Нейросети: сбор данных и обучение
Собирают тексты для обучения моделей. Трафика не приносят — открыть или закрыть решаете вы.
Визиты в день за 30 дней
Владелец не публикует ни сетей, ни адресов — назваться этим ботом может кто угодно. Судите по поведению и сети, из которой он пришёл.
User-agent: VelenPublicWebCrawler Disallow: /
Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403.