Cloudflare pianifica di bloccare automaticamente i web crawler ad uso misto che indicizzano i siti web per i motori di ricerca fungendo anche da agenti e formatori di intelligenza artificiale. L’azienda in precedenza offriva ai clienti la possibilità di impedire a questi crawler di ricercare chatbot AI nei loro siti, ma ora sta adottando una posizione predefinita più difensiva.
Il CEO Matthew Prince ha dichiarato: “Ora che la maggior parte del traffico su Internet non è umano, dobbiamo andare oltre e agire più rapidamente affinché possa emergere un ecosistema sostenibile”. Ha sottolineato che i nuovi strumenti e le nuove partnership offrono ai proprietari di siti web maggiore visibilità e opportunità commerciali, avvantaggiando al contempo le aziende di intelligenza artificiale con intenti trasparenti.
A partire dal 15 settembre 2026, i nuovi clienti e i nuovi siti Web degli abbonati esistenti avranno impostazioni predefinite per consentire la ricerca ma bloccare la formazione e l’utilizzo degli agenti sulle pagine contenenti annunci. Anche i crawler ad uso misto che non consentono ai proprietari dei siti di controllare l’utilizzo dei contenuti AI verranno bloccati per impostazione predefinita sulle pagine degli annunci. Gli utenti con account gratuiti passeranno automaticamente a queste nuove impostazioni predefinite, a meno che non decidano di disattivarle prima della scadenza.
Cloudflare sta aggiornando la sua funzionalità Pay Per Crawl, ora denominata Pay Per Use, in cui i proprietari dei siti riceveranno un compenso quando i loro contenuti verranno referenziati dai chatbot AI. L’annuncio include partnership con Ceramic.AI e You.com, con l’aspettativa di attirare ulteriori aziende di intelligenza artificiale ad adottare questi cambiamenti.
La nuova politica è vista come una mossa strategica per sfidare Google, che ha accesso a molte più informazioni rispetto alle principali società di intelligenza artificiale. Il principale web crawler di Google, Googlebot, indicizza efficacemente i siti e raccoglie dati per i suoi modelli di intelligenza artificiale, complicando le opzioni degli editori riguardo all’utilizzo dei contenuti. Le politiche di Cloudflare mirano a spingere Google e altre aziende con crawler ad uso misto a riconsiderare le loro strategie.
