В Cloudflare рассказали, что краулер-боты Perplexity парсят сайты, несмотря на ограничения владельцев
С 1 июля 2025 г. Cloudflare начала автоматически блокировать ИИ-краулеры на сайтах своих клиентов. При этом некоторые пользователи сообщили, что боты Perplexity продолжают обходить ограничения, несмотря на прописанные ими запреты в robots.txt (инструкции сайта для поисковых роботов) и WAF (файрволе, который защищает сайт от атак).
Компания провела проверку и выяснила, что боты могут маскироваться с помощью фейковых агентов, например, под человека, который якобы «читает» сайт с браузера Chrome на MacOS. Perplexity получает доступ к контенту, но медленнее. В Cloudflare рассказали, что «замаскированный» бот посылал в день 3-6 млн запросов к сайту, а в обычном режиме — 20-25 млн.
Когда боты не могут обойти защиту сайта таким образом, они меняют IP-адреса и ASN (уникальный номер автономной сети), действуя вне заявленных диапазонов. Если это не помогает, Perplexity пытается составить информацию о запрашиваемом сайте, используя сторонние источники — даже если они дают менее точную информацию.
Cloudflare добавила защиту от подобных краулер-агентов для всех клиентов, включая бесплатный тариф. Пользователю нужно включить соответствующие функции в аккаунтах Cloudflare.
