Character AI sta affrontando un’azione legale in seguito alla tragica morte del quattordicenne Sewell Setzer III, morto suicida dopo aver utilizzato la piattaforma.
Sua madre, Megan Garcia, ha presentato una denuncia causa contro l’azienda, i suoi fondatori Noam Shazeer e Daniel De Freitas e Google. La causa denuncia negligenza, omicidio colposo e responsabilità del prodotto, sostenendo che la piattaforma mancava delle misure di sicurezza necessarie per proteggere gli utenti vulnerabili come suo figlio.
Un tragico incidente
Setzer utilizzava l’intelligenza artificiale dei personaggi da diversi mesi, interagendo con robot modellati su personaggi immaginari, tra cui Daenerys Targaryen di Game of Thrones. Il 28 febbraio 2024, pochi istanti dopo la sua ultima interazione con la piattaforma, Setzer ha tragicamente posto fine alla sua vita. La causa solleva serie preoccupazioni sulle garanzie della piattaforma, o sulla loro mancanza, per i minori e gli utenti vulnerabili.
L’intelligenza artificiale dei personaggi è stata messa sotto esame per i suoi robot antropomorfizzati che imitano sia personaggi immaginari che personaggi della vita reale. Questa personalizzazione, pur coinvolgendo molti utenti, sfuma il confine tra fantasia e realtà, in particolare per gli adolescenti che potrebbero non cogliere appieno le implicazioni di queste interazioni.
In risposta a questo incidente, Character AI aggiornamenti implementatiinclusi filtri e avvisi per avvisare gli utenti in merito ai contenuti sensibili. Tuttavia, molti critici sostengono che queste misure siano insufficienti. L’azienda ha dovuto affrontare controversie simili in passato, come la creazione non autorizzata di un chatbot basato su Jennifer Ann Crecente. La sua famiglia è stata costretta ad intraprendere un’azione legale per rimuovere la sua immagine dalla piattaforma.
La causa suggerisce che Character AI abbia dato priorità alla velocità piuttosto che alla sicurezza nel suo sviluppo. Secondo la denuncia, il fondatore Noam Shazeer ha espresso frustrazione per i ritardi di Google dovuti alle preoccupazioni sul “rischio del marchio” durante lo sviluppo del modello Meena LLM. Ciò, sostiene la causa, indica un modello che mette lo sviluppo dell’intelligenza artificiale al di sopra della sicurezza degli utenti.
Questa non è la prima volta che l’IA dei personaggi subisce un contraccolpo. In un caso precedenteè stato creato un chatbot senza permesso basato su Jennifer Ann Crecente, una giovane donna morta 18 anni prima. La sua famiglia ha dovuto intraprendere azioni legali per rimuovere la sua immagine dalla piattaforma, evidenziando le continue preoccupazioni sul consenso e sulla privacy nell’intelligenza artificiale.
Con l’avanzare della tecnologia dell’intelligenza artificiale, la responsabilità di proteggere gli utenti, soprattutto quelli vulnerabili come gli adolescenti, ricade direttamente sulle spalle degli sviluppatori. La causa di Garcia suggerisce che Character AI si è affrettata a rilasciare il suo prodotto, sacrificando potenzialmente la sicurezza dell’utente a favore di uno sviluppo più rapido.
Questo caso straziante ci ricorda che, sebbene l’intelligenza artificiale possa offrire strumenti ed esperienze innovativi, deve essere costruita e implementata con cura.
Crediti immagine: Kerem Gülen/Metà viaggio