Per rispondere alle domande dei suoi utenti, il servizio Perplexity esplora il web e recupera le informazioni più rilevanti. Ma su Internet, come altrove, ci sono delle regole: i siti web sono liberi di impostare limiti ai robot che raccolgono dati. Gli editori hanno sempre potuto autorizzare o vietare questi “crawler” tramite il file robots.txt o le regole del firewall (WAF).
Ma Perplexity fa quello che vuole. Cloudflare sostiene, con prove a supporto, che il “motore di risposta basato sull’intelligenza artificiale” ha adottato un comportamento di scansione stealth. In altre parole, Perplexity accede ai contenuti aggirando i blocchi: utilizzando un falso user agent che imita un browser tradizionale e più indirizzi IP per mascherarne l’origine; a volte, inoltre, il robot dell’azienda ignora completamente le istruzioni del file robots.txt.
Cloudflare ha condotto diversi esperimenti creando siti web sconosciuti ai crawler, tra cui quello di Perplexity. Il file robots.txt di questi siti impedisce qualsiasi scansione. E nonostante la mancata indicizzazione da parte di altri motori di ricerca, il servizio è riuscito a fornire dettagli sul contenuto di pagine normalmente vietate ai robot!
Ciò non contribuirà a riabilitare l’immagine delle aziende di intelligenza artificiale, regolarmente accusate di raccogliere dati dal “web aperto” senza autorizzazione o compenso dai creatori per addestrare i propri modelli di intelligenza artificiale. Al contrario, il robot di OpenAI rispetta i blocchi del file robots.txt.
Cloudflare, che protegge milioni di siti web da attacchi e abusi, ha rimosso Perplexity dal suo elenco di bot verificati e ha bloccato le attività stealth tramite nuove regole automatizzate.
Fonte: Cloudflare
