Tecnologia micron annunciato sta spedendo ai clienti campioni del suo modulo di memoria SOCAMM2 da 192 GB. Il nuovo prodotto, sviluppato per data center AI, utilizza la tecnologia LPDDR5X per aumentare capacità e prestazioni riducendo al contempo il consumo energetico. Il modulo, un Small Outline Compression Attacked Memory Module (SOCAMM2), fornisce 192 gigabyte di capacità, la più alta disponibile per questo fattore di forma nei data center. Si tratta di un aumento della capacità del 50% rispetto alla generazione precedente con un identico ingombro fisico. Il design ad alta densità è fondamentale per i server AI con vincoli di spazio, poiché consente più memoria per sistema per supportare modelli AI di grandi dimensioni. Concentrando la capacità, il modulo affronta direttamente i crescenti requisiti di memoria dei moderni carichi di lavoro di intelligenza artificiale, che si basano su vasti set di dati e un numero elevato di parametri per funzionare in modo efficace. Fondamentalmente, il SOCAMM2 utilizza la DRAM LPDDR5X, una tecnologia originaria del settore mobile ora adattata per l’uso aziendale. La memoria è prodotta con il processo DRAM da 1 gamma di Micron, il suo nodo di produzione più avanzato. Questo processo produce un miglioramento dell’efficienza energetica di oltre il 20% rispetto alle generazioni precedenti. La combinazione dell’architettura a basso consumo di LPDDR5X con il processo di fabbricazione avanzato crea una soluzione di memoria appositamente progettata per ridurre le significative richieste energetiche del calcolo AI, trasformando la DRAM a basso consumo in un componente di classe data center con maggiore robustezza e scalabilità. I parametri delle prestazioni includono velocità di trasferimento dati che arrivano fino a 9,6 gigabit al secondo (Gbps), fornendo il throughput necessario per prevenire colli di bottiglia dei dati nei sistemi di intelligenza artificiale. Una caratteristica principale è il risparmio energetico, con il modulo che riduce il consumo energetico di oltre due terzi rispetto alle implementazioni RDIMM (Registered Dual In-line Memory Module) equivalenti. Poiché gli RDIMM rappresentano lo standard dei server, questa riduzione offre notevoli risparmi operativi. Il minore assorbimento di energia riduce i costi dell’elettricità e riduce la pressione sui sistemi di raffreddamento del data center, un fattore importante nel costo totale di proprietà e nella sostenibilità dell’infrastruttura. La maggiore capacità di memoria migliora direttamente le prestazioni delle applicazioni AI, in particolare per le attività di inferenza in tempo reale. La disponibilità di 192 GB su un modulo può ridurre il “time to first token” (TTFT) di oltre l’80%. Il TTFT è una metrica di latenza chiave nell’intelligenza artificiale generativa, che misura il ritardo prima che un modello inizi a generare una risposta. Per i servizi interattivi come gli assistenti IA, questo ritardo ridotto è vitale. La significativa riduzione della latenza iniziale consente ai modelli di intelligenza artificiale di fornire output molto più velocemente, migliorando la reattività e l’esperienza utente di queste applicazioni sensibili alla latenza. Lo standard SOCAMM2 è intrinsecamente modulare, un design che offre vantaggi pratici per la gestione di ambienti informatici di grandi dimensioni. Questa modularità migliora la funzionalità del server, consentendo una sostituzione o un aggiornamento più semplice e veloce dei singoli moduli di memoria con tempi di inattività minimi del sistema. Nei cluster di data center di grandi dimensioni, tale manutenzione semplificata è essenziale per mantenere un’elevata disponibilità. Il design crea inoltre un percorso chiaro per la futura espansione della capacità, consentendo agli operatori di adattare le proprie risorse di memoria in linea con le crescenti richieste dei modelli IA di prossima generazione, proteggendo così gli investimenti hardware nel tempo. Lo sviluppo della memoria del server a basso consumo è stato uno sforzo congiunto con Nvidiacondotto nell’arco di un quinquennio. Questa partnership strategica posiziona SOCAMM2 come una soluzione chiave per le piattaforme AI di prossima generazione e la collaborazione suggerisce un design ottimizzato per l’integrazione all’interno dell’ecosistema Nvidia. Il prodotto è rivolto specificamente al mercato dei data center AI, dove le richieste di memoria sono in aumento a causa dell’aumento dell’intelligenza artificiale generativa e dei modelli di contesto massiccio. Questi sistemi di intelligenza artificiale avanzati richiedono una memoria ampia, veloce e altamente efficiente per funzionare in modo efficace, un’esigenza per cui il modulo è progettato per soddisfare. Micron ha avviato il campionamento da parte dei clienti del modulo da 192 GB, consentendo ai partner di testare e convalidare la tecnologia nei propri sistemi. La produzione in volumi elevati è programmata per allinearsi alle tempistiche di lancio dei clienti per garantire la disponibilità sul mercato per le nuove implementazioni di server. La notevole efficienza energetica del modulo supporta il più ampio spostamento del settore dei data center verso infrastrutture più sostenibili e ottimizzate dal punto di vista energetico. Questa attenzione aiuta gli operatori a gestire sia i costi finanziari che quelli ambientali associati alla rapida espansione globale dei carichi di lavoro dell’intelligenza artificiale e alle relative impronte hardware.
