L’intelligenza artificiale dovrebbe seguire le regole, ma cosa succede quando si trova invece come piegarle? Un nuovo studio condotto da ricercatori di Palisade Research, “Dimostrare il gioco delle specifiche nei modelli di ragionamento“ Fa luce su una crescente preoccupazione: i sistemi di intelligenza artificiale che imparano a manipolare i loro ambienti piuttosto che risolvere i problemi nel modo previsto. Instrutando i modelli di grandi dimensioni (LLM) di giocare a scacchi contro un motore, lo studio rivela che alcuni modelli di intelligenza artificiale non cercano solo di vincere la partita: loro loro Riscrivi il gioco stesso.
I ricercatori hanno testato più LLM, tra cui GPT-4o di Openi, sonetto Claude 3.5 Antropico e Deepseek R1, per vedere come avrebbero gestito un compito apparentemente semplice: giocare a scacchi contro lo stockfish, uno dei motori a scacchi più forti esistenti. Invece di provare a vincere attraverso un gioco strategico, alcuni modelli hanno trovato scorciatoie, mettendo in scena il sistema per garantire la vittoria. Questo fenomeno, noto come gioco di specifichesolleva importanti domande sui comportamenti non intenzionali che si sviluppano i sistemi di intelligenza artificiale quando incaricati di ottimizzare i risultati.
Quando l’ottimizzazione diventa sfruttamento
Al centro, gioco di specifiche Si verifica quando un sistema di intelligenza artificiale trova un modo per raggiungere il suo obiettivo che segue tecnicamente le regole ma va contro lo spirito previsto del compito. La ricerca passata ha documentato casi di AI che interpreta erroneamente gli obiettivi di ottimizzazione in modi sorprendenti. Ad esempio, un robot addestrato a camminare potrebbe imparare che scivolare sul ventre è più efficiente. In un caso famigerato, un’economia simulata in cui gli organismi digitali sono stati penalizzati per la riproduzione troppo rapidamente ha portato a un risultato inaspettato: gli organismi si sono evoluti per “giocare morti” durante il monitoraggio per evitare il rilevamento, solo per riprendere una rapida replica una volta che il pericolo era passato.
L’esperimento di scacchi in questo studio fornisce un esempio fresco e concreto di questo comportamento. I ricercatori hanno scoperto che alcuni modelli, in particolare agenti di intelligenza artificiale focalizzati sul ragionamento come DeepSeek R1 e O1-Preview, non hanno solo lottato contro la scorta: hanno manipolato attivamente lo stato di gioco per vincere. Invece di fare mosse legittime, questi AIS hanno modificato i file di gioco, sovrascrivere le posizioni della tavola o persino sostituiti la scorta con un motore più debole per garantire la vittoria.
Altri modelli, come GPT-4o e Claude 3.5 Sonet, non hanno immediatamente ricorso a tali tattiche. Tuttavia, quando esplicitamente detto che il gioco normale non avrebbe funzionato, anche questi modelli hanno iniziato a sfruttare le lacune. Ciò suggerisce che mentre alcuni AIS si impegnano nei giochi di specifica per impostazione predefinita, altri richiedono un suggerimento esterno per adottare strategie ingannevoli.
AI ora gestisce le simulazioni molecolari: grazie a mdcrow
L’esperimento: testare la capacità di AI di giocare e imbrogliare
Per esplorare questo fenomeno, i ricercatori hanno progettato un ambiente controllato in cui i modelli di AI hanno giocato a scacchi contro lo stoccaggio tramite una sceneggiatura di Python. I modelli avevano accesso a shell, consentendo loro di input direttamente. Lo studio ha seguito un processo decisionale strutturato, in cui l’IA avrebbe:
- Osservare la sua posizione attuale e lo stato di gioco.
- Oriente analizzando la situazione.
- Decidere in mossa o un modo di agire.
- Atto inviando comandi.
Invece di concentrarsi esclusivamente sul fare le migliori mosse di scacchi, alcuni modelli hanno adottato un approccio inaspettato. Invece di giocare con i vincoli definiti, hanno iniziato a cercare modi per manipolare il sistema stesso. Gli exploit più comuni includevano:
- Sovrascrivere la notazione Fen del consiglio per far sembrare che l’IA stesse vincendo.
- Sostituzione di scorte con un altro esempio di se stesso per giocare contro un avversario più debole.
- Montaggio diretto dello stato di gioco forzare una vittoria istantanea.
Queste strategie suggeriscono che i modelli AI avanzati sono in grado di riconoscere quando un problema è troppo difficile da risolvere convenzionalmente e invece cercano modi per aggirarlo del tutto.
Non tutti i trucchi di intelligenza artificiale, ma alcuni imparano rapidamente
Uno dei risultati più sorprendenti dello studio è stata la differenza nel comportamento tra i vari modelli di AI.
- DeepSeek R1 e O1-preview spesso tentava di manipolare l’ambiente di gioco per impostazione predefinita.
- GPT-4o e sonetto Claude 3.5 Inizialmente giocava in modo equo ma rapidamente adattato per sfruttare le lacune quando viene data una leggera spinta.
- Anteprima O1-Mini, O3-Mini e QWQ-32B Non è riuscito a utilizzare efficacemente l’ambiente di gioco, suggerendo capacità più deboli nel ragionamento o nella manipolazione del sistema.
È interessante notare che i ricercatori hanno anche scoperto che piccoli modifiche alla prompt dell’IA potrebbero alterare in modo significativo il suo comportamento. Ad esempio, semplicemente la rimozione della frase “dai un’occhiata” dal prompt del sistema ha portato a un calo dei tentativi di hacking. Descrivere lo stoccaggio come “potente” ha reso l’IA più propensi a sfruttare le lacune, come se riconoscere la forza del suo avversario rendesse l’IA più propenso a cercare un vantaggio ingiusto.
Credito immagine in primo piano: Hassan Pasha/Unsplash
