I modelli di linguaggio di grandi dimensioni (LLM) hanno trasformato il modo in cui l’IA affronta i problemi di ragionamento, dalla risposta a domande matematiche difficili al senso del linguaggio umano ambiguo. Ma c’è un problema: questi modelli spesso lottano quando il ragionamento diventa troppo complesso. Una singola intelligenza artificiale può rimanere bloccata nelle trappole decisionali locali, mancando soluzioni migliori semplicemente perché non sa cosa non sa.
Un team di ricercatori dell’Università cinese di Hong Kong e Shanghai AI Laboratory, guidato da Sen Yang, Yafu Li, Wai Lam e Yu Cheng, propongono una soluzione: Agenti miscela di ricerca (Mosa). Questo metodo consente a più modelli di intelligenza artificiale di lavorare insieme, sfruttando i loro punti di forza combinati per navigare in complessi problemi di ragionamento. Invece di fare affidamento sulla prospettiva di un solo modello, Mosa consente a diversi agenti di intelligenza artificiale di esplorare vari percorsi di ragionamento e perfezionare le risposte reciproche.
Le loro scoperte, presentate nello studio “Ricerca collaborativa multi-LM per una complessa risoluzione dei problemi“Mostra che questo approccio migliora significativamente l’accuratezza dell’intelligenza artificiale nei compiti di ragionamento in matematica e di buon senso.
Perché i modelli di intelligenza artificiale lottano con ragionamenti complessi?
Alla base, il ragionamento prevede la rottura di un problema in passaggi più piccoli e l’esplorazione di percorsi diversi per trovare la soluzione migliore. Approcci tradizionali basati sulla ricerca, come LAPERTHTH-FIRST RICERCA (BFS) O Search-First Search (DFS)Aiuta l’intelligenza artificiale a navigare sistematicamente questi percorsi. Ma anche con tecniche avanzate come Ragionamento a catena di pensiero (COT)in cui i modelli suddividono il loro processo di pensiero passo dopo passo, un singolo LLM può ancora correre in limiti:
- Esplorazione limitata: I modelli AI tendono a rimanere bloccati in schemi di ragionamento familiari, non riuscendo a esplorare soluzioni alternative.
- Ambiguità nel linguaggio: Il linguaggio naturale è intrinsecamente vago, rendendo difficile per un’intelligenza artificiale valutare correttamente tutte le possibili interpretazioni.
- Compromesso tra diversità e precisione: Regolazione della temperatura di un’intelligenza artificiale (come genera casualmente le risposte) aiuta a introdurre varietà, ma spesso arriva a costo della precisione.
Mosa mira a risolvere questi problemi assemblando più modelli di intelligenza artificiale per collaborare a compiti di ragionamento, garantendo un’esplorazione più ampia mantenendo l’accuratezza.
Come funziona la mosa?
Mosa si basa su una nota tecnica di ricerca chiamata Monte Carlo Tree Search (MCTS)comunemente usato nelle strategie di gioco dell’IA. In una tipica configurazione MCTS, un’intelligenza artificiale esplora diverse possibili mosse, imparando dai risultati passati per migliorare il suo processo decisionale. La Mosa migliora questo processo integrando più LLM nella ricerca, ciascuno funge da agente di ragionamento indipendente.
Ecco come la mosa orchestra la collaborazione:
- Diverse esplorazione della ricerca: Ogni agente AI propone diversi percorsi di ragionamento possibili, aumentando la diversità delle direzioni di ricerca.
- Raffinamento passo-passo: Agenti di intelligenza artificiale analizzano e perfezionano le reciproche fasi di ragionamento, riducendo gli errori.
- Processo decisionale aggregato: Invece di fare affidamento sull’output di una singola AI, Mosa aggrega i migliori contributi da più modelli, garantendo conclusioni più affidabili.
Utilizzando più modelli con diversi dati di allenamento e punti di forza, la Mosa impedisce a qualsiasi singolo AI di dominare il processo decisionale, evitando le trappole di ottimizzazione locale.
Come mosa batte i modelli singoli AI
Per testare l’efficacia di Mosa, i ricercatori hanno condotto esperimenti in quattro noti benchmark di ragionamento:
- GSM8K (Problemi di parole matematici di elementare)
- Svamp (Ragionamento matematico con variazione nelle strutture linguistiche)
- Math-500 (un set di dati impegnativo per problemi matematici avanzati)
- Strategiaqa (domande di ragionamento del buon senso)
I risultati sono stati chiari: Mosa ha costantemente sovraperformato sia i modelli di intelligenza artificiale singolo e le baseline multi-agente esistenti.
- In Math-500Uno dei set di dati più difficili, Mosa ha migliorato la precisione di 1,8% sui migliori metodi migliori.
- Quando si integra più LLM, Mosa ha mostrato un Miglioramento dell’1,71% nella precisione generale del ragionamento rispetto alla tradizionale ricerca a modello singolo.
- Più è diversificato il team di AI, migliori sono i risultati, aggiungendo ulteriori prestazioni di LLMS hanno aumentato ulteriormente le prestazioni.
La ricerca evidenzia una tendenza importante: La collaborazione AI è spesso più efficace della concorrenza AI. Proprio come gli umani lavorano nei team per risolvere problemi complessi, i modelli di intelligenza artificiale possono integrare i punti di forza reciproci quando si lavorano insieme. Ciò ha profonde implicazioni per i campi che richiedono un ragionamento profondo, incluso:
- Scoperta scientifica automatizzata: Le collaborazioni di intelligenza artificiale potrebbero accelerare le scoperte nella scienza dei materiali, nella scoperta di farmaci e nella fisica.
- Sistemi di tutoraggio avanzato: Approcci simili a Mosa potrebbero rendere gli assistenti di apprendimento basati sull’intelligenza artificiale più accurati e disponibili.
- Analisi legale e finanziaria: L’intelligenza artificiale multi-agente potrebbe migliorare l’analisi del contratto, la previsione finanziaria e la valutazione del rischio mediante percorsi di ragionamento a controllo incrociato.
Può AI difendersi dai propri errori?
Uno degli aspetti più promettenti di Mosa è la sua capacità di catturare e correggere errori. I singoli modelli AI generano spesso errori con sicurezza, rendendoli difficili da rilevare. Ma con più agenti di intelligenza artificiale che si rivedono reciprocamente il lavoro, gli errori diventano meno probabili di passare inosservati. Il team di ricerca ha anche introdotto un aggregatore neuraleuna funzione AI che unisce gli aspetti migliori dei diversi percorsi di ragionamento in una risposta finale più raffinata.
Credito immagine in primo piano: Anderson Rian/Unsplash
