Яндекс

Как проверить, что он настоящий

• Проверяется по сети AS13238.
• Проверяется по DNS (yandex.ru, yandex.net, yandex.com).

AW IP Analyzer делает это сам: бот с таким User-Agent из чужой сети считается самозванцем и получает проверку браузера.

robots.txt: лучше не закрывать

Этот робот полезен сайту. Такие боты индексируют сайт для поиска. Закрывать нельзя — пропадёте из выдачи. Строки ниже — только для особых случаев.

User-agent: Yandex
Disallow: /

Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403.