Превью ссылок (мессенджеры, соцсети)
Делают карточку ссылки в мессенджерах и соцсетях. Закрывать не стоит.
Визиты в день за 30 дней
Владелец не публикует ни сетей, ни адресов — назваться этим ботом может кто угодно. Судите по поведению и сети, из которой он пришёл.
Этот робот полезен сайту. Такие боты делают карточку ссылки в мессенджерах и соцсетях. Закрывать не стоит. Строки ниже — только для особых случаев.
User-agent: ^ArenaUnfurlBot Disallow: /
Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403. Страница бота: arena.ai.