← Все боты

Скрипты и автоматизация (curl, python, headless)

httpx

Библиотеки и скрипты: curl, python, безголовые браузеры. Обычно это парсеры.

обычно закрывают
Визитов за 30 дней50
Сайтов, где встречался6
Самозванцев—

Активность на сайтах-участниках

Визиты в день за 30 дней

0102020.0925.0930.0905.1010.1015.1019.10

Как проверить, что он настоящий

Владелец не публикует ни сетей, ни адресов — назваться этим ботом может кто угодно. Судите по поведению и сети, из которой он пришёл.

Как закрыть в robots.txt

User-agent: httpx
Disallow: /

Честные боты уходят сами. В AW IP Analyzer это делается на вкладке «Боты»: плагин добавит запрет в robots.txt, а тем, кто его игнорирует, ответит 403. Страница бота: www.python-httpx.org.