La tecnologia Akamai lancia Akamai Cloud Inference, un nuovo servizio cloud che migliora l’efficienza delle attività di inferenza dell’IA. Offre una produttività migliorata, una latenza ridotta e costi inferiori rispetto alle tradizionali infrastrutture iperscale.
L’inferenza di Akamai Cloud funziona su Akamai Cloud, la piattaforma più distribuita del mondo. Questa nuova tecnologia è progettata per affrontare i limiti dei modelli cloud centralizzati elaborando i dati di intelligenza artificiale più vicini all’utente e ai dispositivi.
Adam Karon, Chief Operating Officer e General Manager, Cloud Technology Group di Akamai, ha messo in evidenza la sfida di distribuire in modo efficiente i dati di intelligenza artificiale. “Avviare dati di intelligenza artificiale più vicini agli utenti e ai dispositivi è difficile, ed è dove le nuvole legacy lottano”, ha affermato Karon.
L’inferenza AI su Akamai Cloud consente agli ingegneri e agli sviluppatori della piattaforma di creare ed eseguire applicazioni AI più vicine agli utenti finali. Questa nuova soluzione offre 3x migliori throughput e una riduzione fino a 2,5x di latenza.
I nuovi strumenti consentono alle aziende di risparmiare fino all’86% sull’inferenza di intelligenza artificiale e sui carichi di lavoro di intelligenza artificiale rispetto alle tradizionali infrastrutture di iperscaler.
Le caratteristiche chiave dell’inferenza di Akamai Cloud includono:
- Calcolare: Akamai Cloud offre opzioni di calcolo versatili come CPU per l’inferenza perfetta, GPU per il calcolo accelerato e le VPU ASIC. Ecc. Per affrontare una vasta gamma di sfide di inferenza dell’IA.
- Gestione dei dati: Akamai si integra con vasti dati per l’accesso ai dati in tempo reale e fornisce archiviazione di oggetti scalabile per la gestione di set di dati AI. La società lavora anche con fornitori di database vettoriali come Aiven e Milvus per consentire la generazione di recupero.
- Containerizzazione: Akamai integra la containerizzazione per migliorare la resilienza delle applicazioni e la portabilità ibrida/multicloud. Akamai offre un’inferenza di intelligenza artificiale più veloce, più economica e più sicura con Kubernetes, supportata da Linode Kubernetes Engine (LKE) -Enterprise. Il nuovo servizio consente una rapida distribuzione di piattaforme pronta per l’intelligenza artificiale, tra cui Kserve, Kubeflow e Spinkube.
- Edge Calcola: L’inferenza AI AI include le funzionalità WebAssembly (WASM). Gli sviluppatori costruiscono applicazioni alimentate dall’intelligenza artificiale ai margini, consentendo soluzioni sensibili alla latenza.
L’architettura scalabile e distribuita di Akamai Cloud consente alle risorse di calcolo di essere disponibili a livello globale, dal cloud a bordo, accelerando le prestazioni dell’applicazione e aumentando la scalabilità. La piattaforma copre 4.200 punti di presenza su 1.200 reti in oltre 130 paesi.
Polyhedra ha appena reso pubblici i segreti onesti dell’IA
Akasm rivela il passaggio dalla formazione di modelli di grandi dimensioni (LLM) all’inferenza dell’IA, sottolineando la necessità di soluzioni pratiche di intelligenza artificiale. Gli LLM sono efficaci per compiti per uso generale, ma spesso sono dotati di costi elevati e requisiti che richiedono tempo.
Invece di investire pesantemente in LLM, le imprese si stanno spostando verso modelli AI più leggeri. Questi sono ottimizzati per problemi aziendali specifici, offrono un migliore ritorno sugli investimenti oggi.
L’inferenza del cloud di Akamai supporta l’elaborazione di dati di intelligenza artificiale più vicini a dove vengono generati, risolvendo le esigenze di soluzioni di intelligenza artificiale più distribuite.
La nuova offerta di Akamai rappresenta una mossa notevole verso l’intelligenza artificiale decentralizzata, risolvendo il classico enigma del cloud computing di distanza. Perché? Poiché la latenza ridotta si traduce direttamente in risparmi reali e immediati e una migliore esperienza utente, che è una combinazione difficile da battere per i concorrenti.
Una caratteristica particolarmente esperta è l’enfasi sulla containerizzazione, garantendo che la distribuzione di applicazioni di intelligenza artificiale rimane molto più semplice e più sicura delle configurazioni tradizionali. L’uso di Linode Kubernetes Engine (LKE) -Enterprise sottolinea l’impegno di Akamai a offrire strumenti moderni ed efficienti su misura per le sfide tecnologiche di oggi.
