I modelli di grandi dimensioni (LLM) sono celebrati per le loro capacità multilingue, ma come elaborano effettivamente lingue non inglesi? Un recente studio chiamato “LLM multilingue pensano in inglese?“Di Lisa Schut, Yarin Gal e Sebastian Farquhar dell’Università di Oxford e Google DeepMind suggerisce che LLMS potrebbe essere più incentrato sull’inglese di quanto si pensasse in precedenza. Le loro scoperte rivelano che, indipendentemente dall’input o dalla lingua di output, questi modelli tendono a ragionare in uno spazio di rappresentazione interno più vicino all’inglese prima di tradurre i loro pensieri nella lingua target.
Un processo di pensiero incentrato sull’inglese
Gli LLM sono addestrati su grandi quantità di dati multilingue, ma il linguaggio dominante nel loro corpus di formazione spesso impone il modo in cui strutturano le informazioni internamente. Lo studio ha analizzato più modelli open source, incluso Llama-3.1-70B, Mixtral-8x22B, Gemma-2-27B e AYA-23-35Bper indagare se questi sistemi elaborano il significato in modo agnostico o se sono inadempienti in uno spazio di rappresentazione incentrato sull’inglese.
Usando una tecnica chiamata lente logiti ricercatori hanno decodificato le rappresentazioni latenti di questi modelli e hanno scoperto uno schema sorprendente: quando generavano testo in lingue non inglesi, prima mappa LLMS parole semanticamente significative (come sostantivi e verbi) ai loro equivalenti inglesi prima di convertirli nella lingua target. Questo fenomeno è stato osservato in più lingue, tra cui francese, tedesco, olandese e mandarino.
Ad esempio, quando al modello è stata data la frase francese “Le Bateau Naviguait en Douceur Sur L’Eau” (“La barca navigò senza intoppi sull’acqua”), le rappresentazioni interne mostravano che parole come acqua E barca furono mappati per la prima volta ai loro significati inglesi prima di essere tradotti in francese. Tuttavia, elementi grammaticali come preposizioni e determinanti sono rimasti nella lingua originale, suggerendo che solo le parole caricate semanticamente subiscono questa elaborazione incentrata sull’inglese.
AI ora gestisce le simulazioni molecolari: grazie a mdcrow
L’esperimento vettoriale di sterzo
Un altro esperimento chiave nello studio coinvolto sterzo di attivazioneuna tecnica usata per manipolare le risposte LLM spingendole verso concetti specifici. I ricercatori hanno scoperto che i vettori diretti-rappresentazioni matematiche che guidano il processo decisionale del modello-erano significativamente più efficaci se calcolati in inglese che nella lingua di input o output. Ciò supporta ulteriormente l’idea che il ragionamento fondamentale del modello si verifichi in uno spazio allineato all’inglese.
Ad esempio, quando a un LLM è stato spinto a scrivere una frase sugli animali in tedesco, il modello ha risposto in modo più coerente quando il vettore direttivo è stato derivato dalla parola inglese animale piuttosto che la sua controparte tedesca Livello. Ciò suggerisce che anche quando i modelli producono un testo fluente non inglese, la loro logica sottostante rimane legata alle rappresentazioni inglesi.
La natura incentrata sull’inglese di LLMS ha sia vantaggi che svantaggi. Da un lato, consente a questi modelli di funzionare bene in più lingue nonostante siano formati prevalentemente sui dati inglesi. D’altra parte, si presenta pregiudizi e limitazioni:
- Inferiore fluidità nelle lingue non inglesi: I modelli addestrati con una struttura orientata all’inglese tendono a produrre frasi innaturali quando generano testo in altre lingue. Ciò può rendere il loro output suonare trampolo, in particolare in lingue con sintassi e grammatica significativamente diversi.
- Pregiudizi culturali e linguistici: Poiché la struttura interna favorisce l’inglese, alcune lingue possono essere sottorappresentate, portando a svantaggi ingiusti nelle prestazioni. Ricerche precedenti hanno già evidenziato Pregiudizi occidentali Nei modelli AI e questo studio aggiunge un altro livello al problema.
- Artefatti di traduzione: Poiché i modelli traducono i loro pensieri interni dall’inglese, possono generare fraseggio imbarazzante o errori Quando si lavora con lingue che non hanno equivalenti inglesi diretti per determinate parole o espressioni.
Tutti gli LLM mostrano questo comportamento?
È interessante notare che non tutti i modelli hanno mostrato lo stesso grado di elaborazione incentrata sull’inglese. Aya-23-35b, un modello addestrato su 23 lingue, ha mostrato il minor percorso inglesementre Gemma-2-27b, addestrato principalmente sull’inglese, ha mostrato di più. Ciò suggerisce che il grado di competenza multilingue influenza direttamente se un modello si basa sulle rappresentazioni inglesi.
Inoltre, Modelli più piccoli hanno mostrato una maggiore tendenza a inadempienza all’inglese, probabilmente a causa della loro limitata capacità di archiviare incorporati in modo efficiente. Modelli più grandi, con più parametri e dati di addestramento, sembrano avere una comprensione leggermente migliore della semantica multilingue, sebbene il pregiudizio inglese rimanga ancora.
LLMS può davvero pensare a multilingue?
I risultati dello studio sfidano il presupposto che gli LLM operano in modo veramente Via lingua-agnostica. Invece, suggeriscono che l’IA multilingue è ancora fondamentalmente modellato dal linguaggio dominante nel suo corpus di formazione. Ciò solleva importanti domande per gli sviluppatori e i ricercatori di intelligenza artificiale:
- I set di dati di addestramento dovrebbero essere ristrutturati per promuovere rappresentazioni multilingue più bilanciate?
- Come possiamo mitigare il pregiudizio inglese per migliorare la fluidità e l’equità in diverse lingue?
- Esistono architetture alternative che potrebbero codificare meglio rappresentazioni indipendenti dal linguaggio?
Affrontando il Bias incentrato sull’inglese in LLMS sarà cruciale per lo sviluppo veramente multilingue, culturalmente consapevole sistemi. I ricercatori suggeriscono potenziali miglioramenti come:
- Formazione su dati più diversi: Incorporare una gamma più ampia di lingue durante la pretrattamento potrebbe aiutare gli LLM a sviluppare uno spazio di rappresentazione più equilibrato.
- Miglioramento dello sterzo incrociato: Lo sviluppo di metodi migliori per guidare LLM in lingue non inglesi potrebbe migliorare le loro prestazioni in vari contesti linguistici.
- Esplorare nuove architetture: I futuri modelli di intelligenza artificiale potrebbero incorporare meccanismi per decentralizzare le rappresentazioni linguistichegarantire che i processi di ragionamento e decisioni siano veramente lingua-agnostica.
Per ora, una cosa è chiara: mentre l’intelligenza artificiale multilingue ha fatto passi da gigante, il modo in cui “pensa” è ancora profondamente legato all’inglese. Comprendere questo pregiudizio è il primo passo per creare sistemi di intelligenza artificiale più equa ed efficaci per gli utenti globali.
Credito immagine in primo piano: Kerem Gülen/ideogramma
