In un nuovo documento prestampato, i ricercatori di Texas A&M University, Università del Texas ad Austin e Purdue University hanno introdotto un nuovo concetto inquietante: il “Ipotesi del marciume cerebrale LLM”. IL studio rileva che il pre-addestramento continuo di modelli linguistici di grandi dimensioni (LLM) sul “testo del web spazzatura” provoca un declino cognitivo duraturo nelle loro capacità. . Questo è importante perché non è solo un problema temporaneo; i ricercatori hanno scoperto che il danno è persistente, riformulando il semplice atto di data curation come un problema critico di sicurezza in termini di tempo di formazione per tutti i futuri sviluppi dell’intelligenza artificiale.
Come far “marcire il cervello” a un’intelligenza artificiale
Il termine “marciume cerebrale” è stato notoriamente nominato parola dell’anno da Oxford per il 2024, descrivendo la nebbia mentale che gli esseri umani ottengono dal consumo di troppi contenuti banali online. I ricercatori hanno deciso di vedere se la stessa cosa accade all’intelligenza artificiale. Per fare ciò, hanno condotto un esperimento controllato utilizzando un enorme corpus di post Twitter/X reali. Hanno creato due set di dati distinti: un set di dati “spazzatura” e un set di dati “di controllo”. I dati “spazzatura” sono stati definiti in due modi diversi:
- M1 (Titolo di impegno): Questo set di dati era pieno di post brevi e molto popolari (lunghezza < 30 token, popolarità > 500). I ricercatori hanno scoperto che questo parametro non semantico, la popolarità, era un indicatore sorprendentemente potente dell’effetto di marciume cerebrale, distinto dal significato reale del testo.
- M2 (Qualità semantica): Questo set di dati era pieno di contenuti che un’intelligenza artificiale (GPT-4o-mini) ha classificato come di bassa qualità, come “teorie della cospirazione, affermazioni esagerate, affermazioni non supportate o contenuti superficiali sullo stile di vita”.
Hanno quindi preso quattro diversi LLM (inclusi Llama3 8B e Qwen2.5 7B) e li hanno addestrati continuamente su questi set di dati spazzatura, confrontando le loro prestazioni con modelli addestrati sui dati di controllo.
Il declino cognitivo è reale
I risultati furono immediati e significativi. I modelli addestrati sui dati spazzatura hanno mostrato a Declino cognitivo non banale (G di Hedges > 0,3) su tutta la linea. Più “spazzatura” consumavano i modelli, peggio diventavano, dimostrando un chiaro decadimento “dose-risposta”. Ad esempio, poiché il rapporto spazzatura dei dati M1 è aumentato dallo 0% al 100%, un punteggio di riferimento motivante è crollato da 74,9 a 57,2. I danni non si sono verificati solo in una zona. I ricercatori hanno riscontrato diminuzioni in:
- Ragionamento: I modelli hanno perso la capacità di risolvere problemi complessi.
- Comprensione del contesto lungo: La loro capacità di recuperare informazioni da documenti lunghi è crollata.
- Sicurezza: I modelli sono diventati meno allineati alle norme etiche.
- Personalità: La cosa più inquietante è che i modelli hanno sviluppato “tratti oscuri”, mostrando un aumento significativo psicopatia e narcisismo.
Quando i ricercatori hanno approfondito Perché stava accadendo, hanno identificato una modalità di errore primaria che chiamano “salto di pensiero.” I modelli di intelligenza artificiale troncherebbero o salterebbero del tutto le catene di ragionamento. Invece di pensare passo dopo passo, saltavano semplicemente a una risposta (di solito sbagliata), imitando lo stile breve, accattivante e non riflessivo dei dati spazzatura che venivano loro forniti.
Si può curare il marciume?
Questa è la parte più preoccupante dello studio: non proprio. I ricercatori hanno provato due modi diversi per “guarire” i modelli con il cervello marcio, e nessuno dei due ha avuto pieno successo.
- Riflessione senza formazione: Hanno cercato di convincere i modelli a “riflettere” sui loro errori e risolverli. Questo è fallito. Il “declino cognitivo interiorizzato” dei modelli era così profondo che non erano nemmeno in grado di identificare i propri fallimenti nel ragionamento.
- Ottimizzazione post-hoc: Hanno cercato di “eliminare” la cattiva formazione riqualificando i modelli su un’enorme quantità di dati di istruzione puliti e di alta qualità. Anche se questo ha aiutato, non è stato in grado di ripristinare le capacità originali dei modelli. Anche dopo aver ridimensionato i dati “puliti” a 4,8 volte la quantità di dati spazzaturarimaneva un ampio divario prestazionale.
I risultati forniscono prove efficaci e causali del fatto che la qualità dei dati è un fattore critico per la capacità e la sicurezza dell’intelligenza artificiale. Il danno, una volta compiuto, sembra essere profondamente interiorizzato. Ciò suggerisce che semplicemente ricercare in Internet set di dati sempre più grandi è un percorso pericoloso e motiva la necessità di “controlli di salute cognitiva” di routine per i modelli di intelligenza artificiale, per evitare che anch’essi diventino vittime del cibo spazzatura di Internet.
