Groq AI, azienda pioniera nel settore dei chip AI, sta ponendo le basi per un cambiamento significativo nel modo in cui percepiamo la potenza di elaborazione dell’intelligenza artificiale.
Cos’è Groq AI?
Questo fine settimana, dimostrazioni fulminee di Groq AI hanno catturato l’attenzione del pubblico, mostrando capacità che rendono le attuali iterazioni di ChatGPT, Gemellie persino Grok appaiono lenti al confronto. Groq AI è orgoglioso di offrire “i modelli linguistici di grandi dimensioni più veloci del mondo,” un’affermazione che sta guadagnando credibilità grazie alle valutazioni positive di terzi.
Funzionalità di Groq AI
Con le sue dimostrazioni all’avanguardia, Groq AI ha dimostrato di essere in grado di fornire risposte dettagliate e basate sui fatti comprendenti centinaia di parole in appena una frazione di secondo, complete di citazioni della fonte, come visto in una recente demo condivisa su X. Questo livello di prestazioni dimostra non solo l’impressionante velocità di Groq AI, ma anche la sua precisione e profondità nella generazione di contenuti AI.
La prima demo pubblica che utilizza Groq: un velocissimo motore di risposte AI.
Scrive risposte basate sui fatti e citate con centinaia di parole in meno di un secondo.
Più di 3/4 del tempo viene dedicato alla ricerca, non alla generazione!
Il LLM viene eseguito in una frazione di secondo.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
— Matt Shumer (@mattshumer_) 19 febbraio 2024
In una straordinaria dimostrazione delle capacità di Groq AI, Jonathon Ross, fondatore e CEO dell’azienda, ha orchestrato un dialogo verbale continuo e in tempo reale tra un CNN host e un chatbot basato sull’intelligenza artificiale situato dall’altra parte del mondo, il tutto trasmesso in diretta televisiva. Questa svolta dimostra che la tecnologia di Groq AI non è solo veloce ma anche sufficientemente solida da consentire una comunicazione live e interattiva su scala globale.
Al centro dell’innovazione di Groq AI ci sono le sue unità di elaborazione linguistica (LPU), progettate specificamente per superare le unità di elaborazione grafica (GPU) di Nvidia. Mentre le GPU di Nvidia sono state il punto di riferimento per l’esecuzione di sofisticati modelli di intelligenza artificiale, le LPU di Groq AI stanno stabilendo nuovi record, suggerendo un cambio di paradigma nella potenza di elaborazione e nell’efficienza per le applicazioni di intelligenza artificiale. Questo progresso indica un futuro promettente in cui la tecnologia di Groq AI potrebbe ridefinire le capacità e le applicazioni dei sistemi di intelligenza artificiale in tutto il mondo.
Wow, ci sono un sacco di tweet stasera! Risposte alle domande frequenti.
• Siamo più veloci perché abbiamo progettato i nostri chip e sistemi
• È una LPU, unità di elaborazione linguistica (non una GPU)
• Utilizziamo modelli open source, ma non li formiamo
• Stiamo aumentando la capacità di accesso settimanalmente, restate sintonizzati pic.twitter.com/nFlFXETKUP— Groq Inc (@GroqInc) 19 febbraio 2024
Groq AI si distingue come “motore di inferenza,” un componente fondamentale che potenzia le prestazioni di chatbot come ChatGPT, Gemini e Grok, anziché agire come un chatbot vero e proprio. Il suo ruolo è quello di aumentare la velocità di queste piattaforme basate sull’intelligenza artificiale, fornendo loro la rapida potenza di elaborazione di cui hanno bisogno senza sostituire le loro funzionalità uniche. Sulla piattaforma di Groq AI, gli utenti hanno l’opportunità di sperimentare vari chatbot, testimoniando in prima persona le prestazioni accelerate consentite dalle unità di elaborazione linguistica (LPU) di Groq.
In un confronto degno di nota, la tecnologia di Groq AI ha raggiunto un risultato sbalorditivo di 247 gettoni al secondosuperando nettamente quelli di Microsoft 18 gettoni al secondocome rivelato da una valutazione di terze parti di Analisi artificiale. Questo salto di prestazioni suggerisce che piattaforme di intelligenza artificiale come ChatGPT potrebbero funzionare 13 volte più veloce sull’hardware di Groquna prospettiva rivoluzionaria per l’efficienza delle comunicazioni IA.
Il potenziale per i chatbot IA di diventare molto più reattivi e utili è all’orizzonte, grazie a Groq AI. I modelli attuali, tra cui ChatGPT, Gemini e Grok, spesso faticano a tenere il passo con il ritmo della conversazione umana in tempo reale, con lievi ritardi che possono sminuire il flusso naturale dell’interazione. Dimostrazioni recenti, come la presentazione Gemini di Google, hanno mirato a mostrare capacità in tempo reale che, in realtà, rimangono fuori portata. Tuttavia, con l’accelerazione offerta da Groq AI, tali interazioni continue potrebbero presto diventare possibili.
Chi possiede Groq?
Jonathon Ross, co-fondatore di Groq, porta con sé una ricca eredità di innovazione dal suo periodo in cui ha co-fondato la divisione chip AI di Google, che è stata determinante nello sviluppo di chip avanzati per l’addestramento dei modelli AI. Le LPU di Groq sono progettate specificamente per superare i due principali colli di bottiglia affrontati da GPU e CPU nell’elaborazione LLM (Large Language Model): densità di calcolo e larghezza di banda della memoria, promettendo un nuovo livello di efficienza e velocità.
Groq è una piattaforma sviluppata da Groq, Inc., una società fondata nel 2019 da un team di esperti ingegneri del software e data scientist. La missione dell’azienda è facilitare agli sviluppatori e ai data scientist la creazione, l’implementazione e la gestione di modelli di machine learning e pipeline di dati. Groq, Inc. è una società privata e ha ricevuto finanziamenti da investitori come Sequoia Capital, Kleiner Perkins e IVP. La sede centrale dell’azienda si trova a San Francisco, in California. Per quanto riguarda chi possiede Groq, è probabile che i fondatori, il team di gestione e gli investitori della società abbiano quote di proprietà nella società. Tuttavia, l’esatta struttura proprietaria non è resa pubblica.
Elon Musk ha rubato il nome di Groq AI?
L’ispirazione dietro il nome “Grok” risale al romanzo di fantascienza di Robert Heinlein del 1961, “Straniero in terra straniera”, che incarna il concetto di comprensione profonda e intuitiva. Questa nozione ha affascinato il settore dell’intelligenza artificiale, portando alla sua adozione da parte di più entità, tra cui Grok di Elon Musk e un’azienda IT abilitata all’intelligenza artificiale, tra gli altri. Nonostante il campo affollato, Ross afferma che Groq AI, fondata nel 2016, è stata la pioniera nell’utilizzo del soprannome, sottolineando il suo impegno nel far avanzare la tecnologia AI verso un futuro in cui la comprensione profonda e intuitiva da parte delle macchine diventa realtà.
“Sapevi che quando hai annunciato il nuovo chatbot xAI, hai usato il nostro nome? Il tuo chatbot si chiama Grok e la nostra azienda si chiama Groq®, quindi puoi vedere come questo potrebbe creare confusione tra le persone. Groq (noi) suona molto simile (identico) a Grok (tu), e la differenza di una consonante (q, k) conta solo per gli scrabblers e i correttori ortografici. Inoltre, possediamo il marchio.
Possiamo capire perché potresti voler adottare il nostro nome. Ti piacciono le cose veloci (razzi, hyperloop, nomi di aziende di una sola lettera) e il nostro prodotto, Groq LPU
Inference Engine è il modo più veloce per eseguire modelli linguistici di grandi dimensioni (LLM) e altre applicazioni di intelligenza artificiale generativa. Dobbiamo però chiedervi di scegliere un altro nome, e in fretta”, si legge in Groq blog.
Sebbene Groq stia suscitando molta attenzione, non è chiaro se i suoi chip AI possiedano una scalabilità paragonabile alle GPU di Nvidia o ai TPU di Google. Il CEO di OpenAI, Sam Altman, sta attualmente ponendo molta enfasi sui chip AI, contemplandone anche lo sviluppo interno. Le velocità migliorate dei chip offerte da Groq potrebbero catalizzare i progressi nel panorama dell’intelligenza artificiale, aprendo nuove strade per l’interazione in tempo reale con i chatbot AI.
Credito immagine in primo piano: Kerem Gülen/Metà viaggio
