Googlebot

Как проверить, что он настоящий

• Проверяется по официальному списку адресов.
• Проверяется по сети AS15169.
• Проверяется по DNS (googlebot.com, google.com).

AW IP Analyzer делает это сам: бот с таким User-Agent из чужой сети считается самозванцем и получает проверку браузера.

robots.txt: лучше не закрывать

Этот робот полезен сайту. Такие боты индексируют сайт для поиска. Закрывать нельзя — пропадёте из выдачи. Строки ниже — только для особых случаев.

User-agent: Googlebot
Disallow: /

Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403.