L’industria dei semiconduttori sta assistendo a un’affascinante rivalità, poiché Advanced Micro Devices (AMD) sfida il dominio di NVIDIA nel mercato degli acceleratori AI. Con il suo Instinct MI300X, AMD è pronta a sconvolgere lo status quo, offrendo un’alternativa economica e potente all’H100 di NVIDIA. L’impennata della domanda di chip AI, guidata dalla crescita esplosiva nell’adozione dell’AI e dall’espansione dei data center, intensifica ulteriormente questa competizione.
Nell’arena frenetica della tecnologia dei chip AI, AMD sta facendo notevoli progressi nel mettere alla prova il dominio di NVIDIAMentre NVIDIA attualmente detiene la quota maggiore del mercato, stimato a oltre l’80%AMD sta guadagnando costantemente slancio, in particolare nel settore dei data center. Questa impennata è alimentata dalla forte domanda del loro chip AI MI300X, con vendite previste raggiungendo la ragguardevole cifra di 4 miliardi di dollari, pari a circa il 15% dei ricavi previsti da AMD.
Quando si tratta di prestazioni, i chip H100 di NVIDIA rimangono ampiamente riconosciuti per la loro abilità nei carichi di lavoro di intelligenza artificiale, soprattutto nell’ambito della formazioneTuttavia, l’MI300X di AMD sta dimostrando il suo valore in specifiche attività di intelligenza artificiale, in particolare nell’inferenza, dove alcuni affermano che supera persino l’ammiraglia H100 di NVIDIA.
In termini di partnership e adozione del settore, NVIDIA vanta collaborazioni consolidate con i principali provider cloud e gode di ampia accettazione in diversi settori. D’altro canto, AMD sta attivamente stringendo partnershipcome l’alleanza con TensorWave, per ampliare la propria portata e perfezionare la propria tecnologia per attività incentrate sull’intelligenza artificiale.
L’interazione dinamica tra questi due giganti promette un futuro entusiasmante per il mercato dei chip AI. Ho parlato con Darrick Horton, CEO di TensoreOndaper capire perché ha puntato tutto sull’intelligenza artificiale (IA) di AMD.
Instinct MI300X di AMD: una svolta?
L’MI300X vanta una capacità di memoria maggiore rispetto all’H100, il che lo rende vantaggioso per attività di intelligenza artificiale specifiche, in particolare quelle che coinvolgono grandi modelli linguistici. Mentre l’H100 offre generalmente una maggiore potenza di calcolo grezza, l’MI300X si dimostra promettente in attività di inferenza e dimensioni di batch maggiori.
Sebbene i prezzi esatti non siano pubblici, si dice che MI300X sia più economico, offrendo potenzialmente un miglior rapporto prezzo/prestazioni. Tuttavia, la piattaforma CUDA di NVIDIA gode di un’adozione più ampia e di un ecosistema software più maturo.
“Una delle caratteristiche più importanti dell’MI300X è la sua architettura di memoria superiore”, mi ha detto Horton. “Con fino a 192 GB di memoria HBM3 unificata, l’MI300X supera notevolmente l’H100, consentendo la gestione senza soluzione di continuità di modelli e set di dati più grandi direttamente sull’acceleratore. Ciò riduce la necessità di accessi alla memoria off-chip, che possono rappresentare un collo di bottiglia nei carichi di lavoro AI, con conseguenti prestazioni migliorate, capacità di memorizzazione nella cache e latenza inferiore”.
Altre considerazioni che hanno spinto TensorWave a collaborare con AMD includono l’efficienza energetica e l’ecosistema software di AMD.
“MI300X è progettato tenendo a mente l’efficienza energetica, offrendo prestazioni eccezionali per watt”, ha affermato Horton. “Ciò è particolarmente importante poiché i carichi di lavoro AI sono scalabili, consentendo alle aziende di ottenere prestazioni elevate senza aumentare i costi energetici. Questa efficienza è un fattore critico nelle distribuzioni su larga scala, in cui i costi operativi possono essere una preoccupazione significativa. La piattaforma ROCm (Radeon Open Compute) di AMD continua a maturare e offre un solido supporto per carichi di lavoro AI e HPC. natura open source di ROCm “offre agli sviluppatori flessibilità e la possibilità di ottimizzare le loro applicazioni per MI300X, qualcosa di sempre più importante man mano che i modelli di intelligenza artificiale diventano più sofisticati”.
L’architettura ibrida di MI300X combina le capacità di CPU e GPU, che possono ottimizzare le prestazioni su vari carichi di lavoro e scalare in modo efficiente su più acceleratori. Tutto ciò dipinge un quadro di un’alternativa convincente a NVIDIA.
Naturalmente, AMD e NVIDIA stanno adottando approcci molto diversi per la costruzione di sistemi GPU su larga scala. AMD favorisce lo standard aperto di PCIe 5.0, che offre una compatibilità più ampia e costi potenzialmente inferiori, mentre NVIDIA si affida alla sua interconnessione NVLink ad alta larghezza di banda per prestazioni migliorate in determinati scenari, ma con potenziali limitazioni di scalabilità e costi più elevati.
Una missione per democratizzare l’accesso all’intelligenza artificiale
Il modello di determinazione dei prezzi di TensorWave sembra mirato a democratizzare l’accesso all’infrastruttura di intelligenza artificiale ad alte prestazioni e il costo inferiore segnalato per il leasing delle GPU AMD tramite la piattaforma può contribuire a rendere le tecnologie di intelligenza artificiale avanzate più accessibili a una gamma più ampia di organizzazioni.
“Quando si tratta di approvvigionamento di GPU, è ben lungi dall’essere un semplice checkout con 1 clic”, ha affermato Horton. “Il processo è spesso ritardato da arretrati di produzione, rendendo imprevedibili i tempi di spedizione. Inoltre, i costi iniziali possono essere proibitivi. Abbiamo già costruito i nostri data center con migliaia di GPU MI300X, pronte per essere distribuite quando lo sarai tu. Ma diciamo che riesci a ottenere il tuo hardware. Ora, ti trovi di fronte alla sfida di costruire, gestire e mantenere quell’hardware e l’intera infrastruttura del data center. Questo è un processo lungo e costoso che non tutti sono attrezzati per gestire. Con il nostro servizio cloud, queste preoccupazioni scompaiono”.
Sebbene NVIDIA detenga attualmente una posizione dominante, l’Instinct MI300X di AMD e l’approccio innovativo di TensorWave sono destinati a rivoluzionare il mercato degli acceleratori di intelligenza artificiale.
“NVIDIA è stata la forza dominante nel mercato degli acceleratori AI, ma crediamo che sia giunto il momento di cambiare”, ha affermato Horton. “Siamo tutti incentrati sul dare opzionalità al mercato. Vogliamo che i costruttori si liberino dal vendor lock-in e smettano di dipendere da strumenti non open source, dove sono alla mercé del provider. Crediamo nella scelta. Crediamo nell’opzionalità open source. Crediamo nella democratizzazione del calcolo. Questi principi erano centrali quando abbiamo costruito e focalizzato il nostro cloud sugli acceleratori AMD MI300X”.
TensorWave ritiene che questo sia importante poiché sempre più PMI e grandi aziende stanno iniziando a sfruttare gli strumenti di intelligenza artificiale nello stesso modo in cui hanno già fatto le grandi aziende.
“Pensate a studi di contabilità, studi legali e istituti di ricerca”, ha detto Horton. “Hanno enormi quantità di dati storici. Se riescono a creare strumenti di intelligenza artificiale che apprendono da questi set di dati, il potenziale per risultati aziendali positivi è enorme. Tuttavia, per raggiungere questo obiettivo, sarà necessario elaborare grandi set di dati (oltre 250.000 token), il che richiederà una memoria e prestazioni sostanziali dall’hardware. E questa non è solo teoria: le aziende stanno lavorando attivamente a soluzioni di contesto a lungo termine in questo momento”.
Una scommessa audace in una partita ad alto rischio
TensorWave ritiene inoltre che AMD diventerà il nuovo standard man mano che gli LLM raggiungeranno nuovi traguardi, il che è un fattore determinante nel puntare tutti i suoi chip su AMD (metafora del blackjack voluta).
“Mentre i modelli AI continuano a crescere e a richiedere più memoria, le soluzioni NVIDIA faticano a competere con MI300X in termini di rapporto prezzo/prestazioni. Prendiamo ad esempio il modello Llama 3.1 405B di Meta. Quel modello può funzionare su meno di un nodo MI300X completo (8 GPU), mentre richiede circa due nodi con H100B. Stiamo scommettendo alla grande che la comunità AI è pronta per qualcosa di meglio: più veloce, più conveniente, open source e facilmente disponibile.
Raddoppiando il suo investimento in AMD, TensorWave guarda al futuro, sviluppando nuove funzionalità per democratizzare ulteriormente l’accesso alla potenza di calcolo.
“Stiamo sviluppando meccanismi di caching scalabili che migliorano notevolmente l’efficienza della gestione di contesti lunghi”, ha affermato Horton. “Ciò consente agli utenti di interagire con chat e documenti più grandi con latenze notevolmente ridotte, offrendo esperienze più fluide e reattive anche nelle applicazioni AI più esigenti”.
Attualmente in versione beta, TensorWave prevede di distribuirla ai suoi utenti nel quarto trimestre del 2024.
I vantaggi tecnici dell’MI300X, uniti all’attenzione di TensorWave alla democratizzazione e alla redditività, rappresentano un’alternativa interessante per le aziende che cercano soluzioni di intelligenza artificiale ad alte prestazioni.
Punta su un futuro più luminoso
Il “see, raise, and call” tra AMD e NVIDIA porterà senza dubbio ulteriori progressi nella tecnologia GPU e nelle applicazioni AI nell’intero settore. Mentre la domanda di AI continua a crescere, entrambe le aziende svolgeranno ruoli cruciali nel dare forma al futuro di questa tecnologia trasformativa.
Resta da vedere se AMD riuscirà a superare NVIDIA. Tuttavia, la loro presenza sul mercato favorisce una sana competizione, innovazione e, in ultima analisi, avvantaggia l’intero ecosistema AI. La battaglia per la supremazia dell’AI è tutt’altro che finita e il mondo guarda con trepidazione mentre questi due titani della tecnologia continuano a spingere i confini di ciò che è possibile.