L’8 agosto 2025, Roblox ha introdotto Sentinel, un sistema di intelligenza artificiale a luce aperta progettato per rilevare potenziali modelli di sfruttamento dei bambini all’interno delle chat online, affrontando critiche crescenti e sfide legali per quanto riguarda la sicurezza della piattaforma.
Roblox, segnalando oltre 111 milioni di utenti attivi mensili, ha indicato che Sentinel ha già contribuito a identificare centinaia di potenziali casi di sfruttamento dei bambini, che sono stati successivamente segnalati alle forze dell’ordine. Matt Kaufman, Chief Safety Officer di Roblox, ha dettagliato il modo in cui le precedenti misure di protezione dell’azienda, come i filtri per la volgarità e il linguaggio offensivo, erano limitati all’analisi delle singole linee o brevi sequenze di testo. Kaufman ha dichiarato: “Ma quando stai pensando alle cose relative all’espirazione o alla cura dei bambini, i tipi di comportamenti che stai guardando si manifestano per un periodo di tempo molto lungo”.
Il sentinella è progettato per identificare i modelli comportamentali all’interno delle conversazioni che si svolgono in periodi prolungati, piuttosto che concentrarsi su parole o frasi isolate. Il sistema elabora circa 6 miliardi di messaggi di chat al giorno, analizzandoli in istantanee di un minuto per valutare il contesto. Per facilitare questa analisi, gli ingegneri di Roblox hanno sviluppato due indici distinti. Un indice comprende esempi di interazioni di chat benigne e innocue, mentre il secondo indice contiene messaggi che sono stati identificati come violazioni delle linee guida per la sicurezza dei bambini.
Naren Koneru, vicepresidente dell’ingegneria per la fiducia e la sicurezza di Roblox, ha spiegato che i nuovi contenuti sono continuamente incorporati in entrambi gli indici per perfezionare le capacità di rilevamento del modello AI. Koneru ha dichiarato: “Quell’indice migliora mentre rileviamo più attori cattivi, aggiorniamo continuamente quell’indice”. Koneru ha aggiunto: “Quindi abbiamo un altro campione di cosa fa un utente normale e normale?”
Il sistema monitora le interazioni in corso di un utente per determinare la traiettoria del loro comportamento, valutando se si allinea con una condotta sicura o indica una progressione verso attività rischiose. Koneru ha osservato: “Non accade con un messaggio perché inviete solo un messaggio, ma succede a causa di tutte le interazioni dei tuoi giorni che stanno portando a uno di questi due”. Se Sentinel contrassegna un utente per un ulteriore controllo, i moderatori umani conducono una revisione approfondita, esaminando la cronologia della chat completa dell’utente, il loro elenco di amici e i giochi con cui si sono impegnati sulla piattaforma. Se ritenuto necessario, Roblox intensifica questi casi alle autorità delle forze dell’ordine e al Centro Nazionale per i bambini dispersi e sfruttati.
L’introduzione di Sentinel si verifica tra le continue sfide legali contro Roblox. Una causa intentata in Iowa il mese precedente sostiene che una ragazza di 13 anni è stata contattata da un predatore per adulti tramite la piattaforma Roblox, successivamente rapita e trafficata in più stati. La causa afferma che il design della piattaforma facilita la vulnerabilità ai minori. Roblox mantiene le politiche che vietano la diffusione di informazioni personali, immagini e video all’interno delle sue funzioni di chat.
La messaggistica diretta per gli utenti di età inferiore ai 13 anni è limitata a meno che non venga fornito un consenso dei genitori espliciti. Roblox monitora le comunicazioni di chat per violazioni della sicurezza, una capacità abilitata dal fatto che le chat sulla piattaforma non sono crittografate end-to-end. La società riconosce che nessun sistema può garantire una protezione assoluta ma sostiene che i progressi dell’IA, come Sentinel, migliorano sostanzialmente la probabilità di rilevazione precoce.
