Pensing Machines Lab, sostenuto da $ 2 miliardi di finanziamenti per seed e gestito con ex ricercatori di Openai, ha condiviso le sue prime intuizioni di ricerca dettagliate. Il laboratorio ha pubblicato un post sul blog mercoledì esaminando come creare modelli di intelligenza artificiale che producono risposte più coerenti e riproducibili, affrontando una sfida fondamentale nello sviluppo dell’intelligenza artificiale.
La ricerca sulla coerenza del modello AI prende di mira il non determinismo nei modelli di grandi dimensioni
Il post sul blog, intitolato “Sconfiggere il non -terminismo nell’inferenza LLM“indaga perché i modelli di intelligenza artificiale generano spesso diverse risposte a domande identiche. Mentre questa variabilità è stata accettata come una caratteristica intrinseca dei modelli di grandi dimensioni, Thinking Machines Lab Visualizza questo nonterminismo come un problema risolvibile piuttosto che una limitazione inevitabile.
L’orchestrazione del kernel GPU provoca casualità di risposta
Il ricercatore Horace ha scritto il post, sostenendo che la casualità nei modelli AI deriva da come i kernel GPU sono orchestrati durante l’elaborazione dell’inferenza. L’elaborazione dell’inferenza si riferisce ai passaggi computazionali che si verificano dopo che gli utenti hanno inviato domande, come la pressione di Invio in Chatgpt. I kernel GPU sono programmi specializzati in esecuzione su chip di computer Nvidia. Crede che un’attenta gestione di questo livello di orchestrazione possa consentire ai modelli di intelligenza artificiale di generare output più prevedibili e coerenti.
Risposte coerenti migliorano la formazione per l’apprendimento del rinforzo
Oltre a migliorare l’affidabilità per le applicazioni aziendali e scientifiche, suggerisce che le risposte riproducibili possono semplificare la formazione per l’apprendimento del rinforzo (RL). Rinforzo Learning Rewards Models per risposte corrette, ma risposte incoerenti introducono rumore nei dati di allenamento. Risposte più coerenti potrebbero migliorare il processo RL, che si allinea con il precedente segnalazione delle informazioni secondo cui il laboratorio di macchine per il pensiero prevede di utilizzare RL per adattarsi ai modelli di intelligenza artificiale per esigenze aziendali specifiche.
Primo lancio del prodotto previsto per i prossimi mesi
Mira Murati, ex direttore della Chief Technology di Openai, ha annunciato a luglio che Thinking Machines Lab pubblicherà presto il suo primo prodotto. Ha indicato che il prodotto sarà “utile per i ricercatori e le startup che sviluppano modelli personalizzati”, sebbene dettagli specifici e se incorpora le tecniche di riproducibilità rimangono non divulgate.
L’impegno di ricerca aperta rispecchia l’approccio Openai precoce
Laboratorio di macchine per il pensiero Annunciava piani per pubblicare regolarmente post sul blog, codice e risultati di ricerca a beneficio del pubblico, ma anche a migliorare la nostra cultura della ricerca “. Il recente post lancia una nuova serie chiamata “Connectionism”, che riflette questo impegno di trasparenza. Questo approccio rispecchia il primo impegno di ricerca aperta di Openi, sebbene Openi sia diventato meno trasparente man mano che è cresciuto. Il blog di ricerca fornisce una visione rara delle operazioni del laboratorio di Thinking Machines e indica che la società sta affrontando sfide di ricerca sull’intelligenza artificiale mentre lavora per i prodotti che giustificano la sua valutazione di $ 12 miliardi.
