CloudFlare ha osservato la perplessità startup di AI Bypassing delle restrizioni di accesso ai contenuti del sito Web, sostenendo che la società ha oscurato le sue identità di bot per aggirare le preferenze digitali. Questa attività ha comportato la perplessità alterando gli agenti utente del bot e le reti di sistemi autonome per eludere il rilevamento in numerosi settori. Il fornitore di infrastrutture Internet CloudFlare ha riferito che la perplessità di startup AI ha strisciato e raschiando i contenuti da siti Web che avevano esplicitamente vietato tale attività.
Cloudflare Pubblicato La ricerca di lunedì, descrivendo in dettaglio le sue osservazioni secondo cui la perplessità ha ignorato i blocchi esistenti e ha nascosto le sue operazioni striscianti e raschianti. La società di infrastrutture di rete ha accusato la perplessità di oscurare la sua identità mentre cercava di raschiare le pagine Web, affermando che questo era “un tentativo di eludere le preferenze del sito Web”. I prodotti AI, compresi quelli offerti dalla perplessità, si basano sull’ingestione di sostanziali volumi di dati da Internet. Le startup AI hanno spesso raschiato testo, immagini e video da Internet, spesso senza autorizzazione esplicita, per facilitare la funzionalità del prodotto. I siti Web hanno sempre più utilizzato il file Robots.txt, uno standard Web progettato per informare i motori di ricerca e le società di intelligenza artificiale sulle pagine consentite per l’indicizzazione e quelle che non lo sono, con vari gradi di successo negli ultimi tempi.
CloudFlare ha dichiarato che la perplessità sembrava eludere intenzionalmente questi blocchi modificando “agente utente” dei suoi robot, che è un segnale che identifica un visitatore del sito Web per il proprio dispositivo e tipo di versione. La società ha anche osservato che la perplessità ha modificato le sue reti di sistemi autonome (ASN), un identificatore numerico per grandi reti su Internet, come parte di questi sforzi. Il post di Cloudflare ha specificato: “Questa attività è stata osservata su decine di migliaia di domini e milioni di richieste al giorno. Siamo stati in grado di impronta digitale questo crawler usando una combinazione di apprendimento automatico e segnali di rete”.
Jesse Dwyer, portavoce della perplessità, ha licenziato il post sul blog di Cloudflare come “campo di vendita”. In una e -mail a TechCrunchDwyer ha affermato che gli screenshot inclusi nel post “mostrano che non si accedevano a non accedere”. In una successiva e -mail, Dwyer ha affermato che il bot identificato nel blog di CloudFlare non era associato alla perplessità. Cloudflare ha indicato che inizialmente ha rilevato questo comportamento dopo che i clienti hanno riferito che la perplessità stava strisciando e raschiando i loro siti, nonostante l’implementazione di robot.txt regole e blocchi specifici mirati a robot di perplessità noti. CloudFlare ha successivamente condotto test per verificare queste affermazioni e confermato la circumocchia di perplessità dei blocchi esistenti.
CloudFlare ha dichiarato: “Abbiamo osservato che la perplessità utilizza non solo il loro agente utente dichiarato, ma anche un browser generico destinato a impersonare Google Chrome su MacOS quando il loro crawler dichiarato è stato bloccato”. La società ha confermato di aver elencato i robot di perplessità dal suo elenco verificato e ha implementato nuovi metodi tecnici per bloccarli. Cloudflare ha recentemente adottato una posizione pubblica per quanto riguarda i crawler dell’IA. Il mese scorso, Cloudflare ha annunciato un nuovo mercato progettato per consentire ai proprietari di siti Web ed editori di riscuotere le accuse contro gli scraffi dell’IA che visitano i loro siti. A quel tempo, l’amministratore delegato di Cloudflare, Matthew Prince, espresse preoccupazioni, affermando che l’IA stava interrompendo il modello di business di Internet, in particolare per gli editori. Nell’anno precedente, CloudFlare ha anche introdotto uno strumento gratuito destinato a impedire ai robot di raschiare i siti Web a fini di formazione AI.
Questo non è il primo istanza di perplessità che affronta accuse di raschiatura non autorizzata. L’anno scorso, le organizzazioni giornalistiche, tra cui Wired, hanno affermato che la perplessità si è impegnata nel plagio dei contenuti. Settimane dopo, durante un’intervista con Devin Collewey di Techcrunch alla conferenza di Disrupt del 2024, l’amministratore delegato della perplessità, Aravind Srinivas, non è stato in grado di fornire una definizione immediata di plagio quando gli è stato chiesto.
