Applebot

Как проверить, что он настоящий

• Проверяется по сети AS714.
• Проверяется по DNS (applebot.apple.com).

AW IP Analyzer делает это сам: бот с таким User-Agent из чужой сети считается самозванцем и получает проверку браузера.

robots.txt: лучше не закрывать

Этот робот полезен сайту. Такие боты индексируют сайт для поиска. Закрывать нельзя — пропадёте из выдачи. Строки ниже — только для особых случаев.

User-agent: Applebot
Disallow: /

Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403.