Поисковики

Mail.ru

Поисковый робот Mail.ru.

закрывать не стоит

Визитов за 30 дней0

Сайтов, где встречался0

Самозванцев—

Как проверить, что он настоящий

Проверяется по сети AS47764.
Проверяется по DNS (mail.ru).

AW IP Analyzer делает это сам: бот с таким User-Agent из чужой сети считается самозванцем и получает проверку браузера.

robots.txt: лучше не закрывать

Этот робот полезен сайту. Такие боты индексируют сайт для поиска. Закрывать нельзя — пропадёте из выдачи. Строки ниже — только для особых случаев.

User-agent: Mail.RU_Bot
Disallow: /

Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403.