In occasione della conferenza Intel Vision 2024 aperta a clienti e partner, il colosso tech USA ha presentato sia l’acceleratore IA Gaudi 3, che porta prestazioni, standard aperti e possibilità di scelta all’IA generativa per le aziende, sia una una piattaforma aperta per l’Enterprise AI.

L’acceleratore IA Gaudi 3, che alimenterà i sistemi di intelligenza artificiale con un potenziale di decine di migliaia di acceleratori collegati tramite Ethernet, promette una potenza di calcolo in ambito IA quattro volte superiore per BF16 e un’ampiezza di banda della memoria superiore di una volta e mezza rispetto al suo predecessore. L’acceleratore rappresenta quindi un passo avanti significativo nella formazione e nell’inferenza dell’IA per le aziende globali che desiderano implementare l’IA generativa su larga scala.

Rispetto all’acceleratore IA Nvidia H100, si prevede che Gaudi 3 fornisca un time-to-train mediamente più veloce del 50% sui modelli Llama2 con parametri 7B e 13B e sul modello con parametri GPT-3 175B. Si prevede anche che il throughput di inferenza di Gaudi 3 supererà l’H100 del 50% in termini di prestazioni medie e del 40% termini di efficienza energetica media dell’inferenza tra i parametri Llama 7B e 70B e i modelli di parametri Falcon 180B.

intel gaudi 3

Gaudi 3, che sarà disponibile per gli OEM (tra cui Dell Technologies, HPE, Lenovo e Supermicro) nel secondo trimestre del 2024, fornisce inoltre un software aperto community based e reti Ethernet standard e consente alle aziende di scalare in modo flessibile da un singolo nodo a cluster, super-cluster e mega-cluster con migliaia di nodi, sostenendo inferenza, messa a punto e formazione su larga scala.

In collaborazione con Anyscale, DataStax, Huggung Face, KX Systems, MariaDB, MinIO, Qdrant, Red Hat, Redis, SAP, SAS, VMware, Yellowbrick e Zilliz, Intel ha inoltre annunciato l’intenzione di creare una piattaforma aperta per l’Enterprise AI. L’iniziativa mira a sviluppare sistemi GenAI aperti e multi-vendor abilitati dalla retrieval-augmented generation (RAG) che offrano facilità di implementazione e le migliori prestazioni e valore. 

Come passo iniziale di questa strategia, Intel rilascerà implementazioni di riferimento per le pipeline GenAI su soluzioni sicure basate su Intel Xeon e Gaudi, pubblicherà un quadro concettuale tecnico e continuerà ad aggiungere capacità infrastrutturale in Intel Tiber Developer Cloud per lo sviluppo dell’ecosistema e la convalida di RAG e pipeline future.