Nutch

Как проверить, что он настоящий

Владелец не публикует ни сетей, ни адресов — назваться этим ботом может кто угодно. Судите по поведению и сети, из которой он пришёл.

robots.txt: лучше не закрывать

Этот робот полезен сайту. Такие боты индексируют сайт для поиска. Закрывать нельзя — пропадёте из выдачи. Строки ниже — только для особых случаев.

User-agent: Nutch
Disallow: /

Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403.