OpenAI Orion, il modello AI di prossima generazione dell’azienda, sta colpendo i limiti prestazionali che espongono i limiti degli approcci di scalabilità tradizionali. Fonti vicine alla questione rivelano che Orion sta offrendo miglioramenti prestazionali minori rispetto ai suoi predecessori, spingendo OpenAI a ripensare la sua strategia di sviluppo.
I primi test rivelano miglioramenti graduali
I primi test sui dipendenti lo indicano OpenAI Orione ha raggiunto prestazioni di livello GPT-4 dopo aver completato solo il 20% della sua formazione. Sebbene ciò possa sembrare impressionante, è importante notare che le prime fasi dell’addestramento dell’IA in genere producono i miglioramenti più notevoli. È improbabile che il restante 80% della formazione produca progressi significativi, suggerendo che OpenAI Orion potrebbe non superare GPT-4 con un ampio margine.
“Alcuni ricercatori dell’azienda ritengono che Orion non sia migliore del suo predecessore nella gestione di determinati compiti”, ha riferito L’informazione. “Secondo un dipendente di OpenAI, Orion ha prestazioni migliori nelle attività linguistiche, ma potrebbe non superare i modelli precedenti in attività come la codifica.”
Il dilemma della scarsità dei dati
Le sfide di OpenAI con Orion evidenziano una questione fondamentale nel settore dell’intelligenza artificiale: la diminuzione dell’offerta di dati di addestramento di alta qualità. Una ricerca pubblicata a giugno prevede che le società di intelligenza artificiale esauriranno i dati di testo pubblici generati dall’uomo disponibili tra il 2026 e il 2032. Questa scarsità segna un punto di svolta critico per gli approcci di sviluppo tradizionali, costringendo aziende come OpenAI a esplorare metodi alternativi.
“I nostri risultati indicano che le attuali tendenze di sviluppo del LLM non possono essere sostenute solo attraverso il ridimensionamento convenzionale dei dati”, si legge nella ricerca stati di carta. Ciò sottolinea la necessità di generare dati sintetici, trasferire l’apprendimento e utilizzare dati non pubblici per migliorare le prestazioni del modello.
La strategia di sviluppo a doppio binario di OpenAI
Per affrontare queste sfide, OpenAI sta ristrutturando il proprio approccio separando lo sviluppo del modello in due percorsi distinti. La serie O, nome in codice Strawberry, si concentra sulle capacità di ragionamento e rappresenta una nuova direzione nell’architettura del modello. Questi modelli operano con un’intensità computazionale significativamente più elevata e sono esplicitamente progettati per compiti complessi di risoluzione dei problemi.
Parallelamente, i modelli Orion, o serie GPT, continuano ad evolversi, concentrandosi su compiti generali di elaborazione del linguaggio e comunicazione. Il Chief Product Officer di OpenAI, Kevin Weil, ha confermato questa strategia durante un AMA, affermando: “Non è né l’uno né l’altro, è entrambi: modelli base migliori e più calcolo del tempo di ridimensionamento/inferenza della fragola”.
Dati sintetici: un’arma a doppio taglio
OpenAI sta esplorando la generazione di dati sintetici per affrontare la scarsità di dati per OpenAI Orion. Tuttavia, questa soluzione introduce nuove complicazioni nel mantenimento della qualità e dell’affidabilità del modello. I modelli di formazione sui contenuti generati dall’intelligenza artificiale possono portare a cicli di feedback che amplificano le sottili imperfezioni, creando un effetto cumulativo sempre più difficile da rilevare e correggere.
I ricercatori hanno scoperto che fare molto affidamento sui dati sintetici può causare il degrado dei modelli nel tempo. Il team Foundations di OpenAI sta sviluppando nuovi meccanismi di filtraggio per mantenere la qualità dei dati, implementando tecniche di convalida per distinguere tra contenuti sintetici di alta qualità e potenzialmente problematici. Stanno anche esplorando approcci di formazione ibridi che combinano contenuti generati dall’uomo e dall’intelligenza artificiale per massimizzare i benefici riducendo al minimo gli inconvenienti.
OpenAI Orion è ancora nelle sue fasi iniziali, con un significativo lavoro di sviluppo da fare. Il CEO Sam Altman ha indicato che non sarà pronto per l’implementazione né quest’anno né il prossimo. Questa tempistica estesa potrebbe rivelarsi vantaggiosa, consentendo ai ricercatori di affrontare i limiti attuali e scoprire nuovi metodi per il miglioramento del modello.
Di fronte alle crescenti aspettative dopo un recente round di finanziamento da 6,6 miliardi di dollari, OpenAI mira a superare queste sfide innovando la sua strategia di sviluppo. Affrontando frontalmente il dilemma della scarsità di dati, l’azienda spera di garantire che OpenAI Orion abbia un impatto sostanziale sul suo eventuale rilascio.
Credito immagine in primo piano: Jonathan Kemper/Unsplash
