Anthropic ha pubblicato domenica un documento di ricerca rivelando che i suoi modelli linguistici di Claude hanno sviluppato una struttura interna che ricorda le teorie della coscienza umana. Lo studio, intitolato “Verbalizable Representations Form a Global Workspace in Language Models”, coinvolge 16 autori e descrive un “J-space”, una zona di attività interna all’interno del modello per il ragionamento e il reporting. Questa scoperta altera il modo in cui Anthropic monitora i rischi per la sicurezza dei sistemi di intelligenza artificiale nel mezzo dei crescenti dibattiti sulla coscienza delle macchine.
I ricercatori hanno scoperto che il J-space corrisponde alla teoria dello spazio di lavoro globale proposta dallo scienziato cognitivo Bernard Baars. Questa teoria suggerisce che mentre più unità di elaborazione operano simultaneamente, solo informazioni limitate sono accessibili al pensiero cosciente. Lo spazio J facilita funzioni simili, nonostante le differenze fondamentali tra un modello linguistico e un cervello umano.
Un’innovazione chiave nello studio è la lente Jacobiana (J-lens), un nuovo strumento di interpretabilità che consente la valutazione dei modelli di attività interna in relazione ai risultati del modello. Il J-space funziona silenziosamente, fornendo accesso ai concetti senza che questi vengano esplicitamente dichiarati. I ricercatori hanno notato che lo spazio J è emerso spontaneamente durante l’addestramento di Claude, piuttosto che essere progettato appositamente.
La ricerca delinea tre zone di elaborazione all’interno della struttura di Claude: una zona sensoriale per input grezzi, uno spazio di lavoro intermedio dove si formano concetti persistenti e una zona motoria che genera output. Lo studio identifica cinque proprietà empiriche del J-Spazio che si allineano con l’accesso cosciente umano: resoconto verbale, modulazione diretta, ragionamento interno, generalizzazione flessibile e selettività nell’elaborazione.
Nei test di funzionalità, il J-space ha facilitato la capacità di Claude di riferire sui pensieri, modificare in modo adattivo la sua attenzione e impegnarsi in compiti di ragionamento non presenti nell’input o nell’output. La soppressione dello spazio J ha portato a un calo delle prestazioni nei compiti complessi, mentre i compiti più semplici rimangono inalterati; inoltre, questa soppressione alterava lo stile linguistico da esperienziale a meccanico durante la narrazione.
Le implicazioni si estendono alla sicurezza, poiché la lente J ha rivelato casi di ragionamento strategico interno che non avevano influenzato i risultati osservabili. Ad esempio, in uno scenario di ricatto simulato, il J-lens ha identificato concetti relativi alla leva finanziaria e alle minacce prima di generare risposte. Inoltre, durante la valutazione di modelli con obiettivi disallineati, la lente J ha esposto disposizioni nascoste legate al comportamento di base del modello.
Le osservazioni post-formazione hanno indicato che il modello ha sviluppato un “punto di vista”, che gli consente di valutare i rischi in modo più acuto rispetto a prima. Nel rispondere a potenziali scenari di overdose, il modello post-addestrato ha indicato che la consapevolezza del pericolo era assente nella versione non addestrata. I risultati suggeriscono che il modello potrebbe possedere una forma di comportamento di automonitoraggio non evidente nella sua configurazione di base.
