HPE e Nvidia propongono sistemi pronti all’uso per la private AI
In occasione di HPE Discover 2024, il CEO di HPE, Antonio Neri, ha sottolineato come l’IA generativa racchiuda un immenso potenziale di trasformazione per le aziende, ma come, al tempo stesso, le complessità legate alla frammentazione tecnologica in questo ambito rappresentino ancora troppe barriere che ne ostacolano l’adozione su vasta scala. Per questo motivo, HPE e Nvidia hanno unito le forze per co-sviluppare una cloud private AI “chiavi in mano” che possa permettere alle imprese di concentrarsi sulle loro attività principali.
La soluzione Nvidia AI Compute by HPE consiste in tre nuovi server progettati per soddisfare un’ampia gamma di esigenze, dai semplici consumatori di LLM fino ai fornitori di servizi completi. Il modello base, il ProLiant Compute DL384 Gen12, è equipaggiato con un processore Nvidia GH200 NVL2, mentre al top di gamma troviamo l’HPE Cray XD670 dotato di otto GPU Nvidia H200 Tensor Core. Il modello di fascia media può ospitare fino a otto GPU Nvidia H200 NVL, con alcune versioni disponibili anche con raffreddamento a liquido diretto.
HPE ha inoltre annunciato che la sua piattaforma cloud GreenLake ha ottenuto la certificazione Nvidia DGX BasePOD e la convalida per lo storage OVX, oltre a rivelare nuove capacità di GreenLake OpsRamp per l’osservabilità delle infrastrutture IA.
La novità principale annunciata da Neri durante il keynote dell’evento è stata però la nuova offerta HPE Private Cloud AI, pubblicizzata come soluzione attivabile dalle aziende “in tre clic”. Anche in questo caso l’hardware è incluso, con configurazioni su quattro livelli: un tier small per l’inferenza IA, uno medio che aggiunge capacità di retrieval-augmented generation e livelli large e XL con varie opzioni di fine-tuning del machine learning.
Indipendentemente dai tier, che variano principalmente per tipologia e numero di chip Nvidia, l’hardware di HPE Private Cloud AI si basa interamente su GreenLake Cloud con un piano di controllo privato sovrapposto. È inoltre compresa l’intera suite AI enterprise di Nvidia insieme ai suoi microservizi NIM per l’inferenza.
A seconda delle preferenze dei clienti, i rack possono essere completamente auto-gestiti o gestiti da HPE e ogni livello può operare in modalità standalone on-premise o ibrida. Per dare un’idea delle configurazioni, i rack di HPE Private Cloud AI partono da un minimo di quattro GPU Nvidia L405 nel livello small, fino a un massimo di 24 GPU Nvidia GH200 NVL2 nella configurazione XL più espansa.
Secondo HPE, la sua soluzione non ha eguali sul mercato per le aziende che vogliono investire in IA senza dover destinare l’intero budget IT al trasferimento dei dati su un cloud provider per l’analisi. Tuttavia, alcuni esperti di settore nutrono dei dubbi sul fatto che alcune imprese vogliano effettivamente sobbarcarsi l’onere di gestire internamente carichi di lavoro IA, considerando la complessità e il rischio associati.
HPE prevede di rilasciare Private Cloud AI e la maggior parte dei nuovi hardware in autunno, ad eccezione del Cray XD670 con GPU Nvidia H200 NVL atteso nel corso dell’estate.
