Nella cornice dell’evento GTC dedicato agli sviluppatori, Nvidia ha lanciato nuovi microservizi di IA generativa di livello enterprise che le aziende possono utilizzare per creare e distribuire applicazioni personalizzate sulle proprie piattaforme, mantenendo la piena proprietà e il controllo della propria proprietà intellettuale.

Costruito sulla base della piattaforma Nvidia CUDA, il catalogo di microservizi cloud-nativi include i microservizi Nvidia NIM per l’inferenza ottimizzata su oltre due dozzine di modelli IA proprietari. Inoltre, i kit di sviluppo software accelerati, le librerie e gli strumenti di Nvidia sono ora accessibili come microservizi CUDA-X per la retrieval-augmented generation (RAG), l’elaborazione dei dati, l’HPC e altro ancora.

La selezione curata di microservizi aggiunge un nuovo livello alla piattaforma di computing full-stack di Nvidia. Questo livello collega l’ecosistema IA di sviluppatori di modelli, fornitori di piattaforme e aziende con un percorso standardizzato per l’esecuzione di modelli IA personalizzati e ottimizzati per la base installata di centinaia di milioni di GPU Nvidia CUDA su cloud, data center, workstation e PC.

Fra i primi ad accedere ai nuovi microservizi di IA generativa disponibili in Nvidia AI Enterprise 5.0 ci sono i principali fornitori di applicazioni, dati e piattaforme di cybersecurity fra cui Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow e Shutterstock.

“Le piattaforme aziendali consolidate sono sedute su una miniera d’oro di dati che possono essere trasformati in copilot IA generativi“ ha dichiarato Jensen Huang, fondatore e CEO di Nvidia. “Creati in collaborazione con il nostro ecosistema di partner, questi microservizi di IA containerizzati sono i mattoni che permettono alle imprese di ogni settore di diventare aziende di intelligenza artificiale”.

Microservizi di inferenza NIM

I microservizi NIM forniscono container precostituiti basati sul software di inferenza di Nvidia (fra cui Triton Inference Server e TensorRT-LLM), che consentono agli sviluppatori di ridurre i tempi di implementazione da settimane a minuti.

Forniscono API standard di settore per consentire agli sviluppatori di creare rapidamente applicazioni di IA utilizzando i loro dati proprietari ospitati in modo sicuro nella propria infrastruttura. Queste applicazioni possono inoltre scalare su richiesta, offrendo flessibilità per l’esecuzione di IA generativa in produzione su piattaforme di elaborazione accelerate da Nvidia. I clienti potranno accedere ai microservizi NIM da Amazon SageMaker, Google Kubernetes Engine e Microsoft Azure AI e integrarsi con framework IA popolari come Deepset, LangChain e LlamaIndex.

microservizi nvidia

Microservizi CUDA-X

I microservizi CUDA-X forniscono blocchi di costruzione end-to-end per la preparazione, la personalizzazione e l’addestramento dei dati per accelerare lo sviluppo dell’IA di produzione in tutti i settori. Per accelerare l’adozione dell’IA, le aziende possono utilizzare i microservizi CUDA-X, fra cui Nvidia Riva per l’IA vocale e di traduzione personalizzabile, Nvidia cuOpt per l’ottimizzazione del routing e Nvidia Earth-2 per le simulazioni climatiche e meteorologiche ad alta risoluzione.

I microservizi NeMo Retriever consentono inoltre agli sviluppatori di collegare le loro applicazioni di IA ai dati aziendali (testo, immagini e grafici) per generare risposte accurate e contestualmente rilevanti. Grazie a queste capacità RAG, le aziende possono offrire più dati a copilot, chatbot e strumenti di produttività di IA generativa per migliorare l’accuratezza e la comprensione.

Piattaforme aziendali con microservizi di IA generativa

I principali fornitori di piattaforme di dati, fra cui Box, Cloudera, Cohesity, Datastax, Dropbox e NetApp, stanno collaborando con i microservizi Nvidia per aiutare i clienti a ottimizzare le loro pipeline RAG e a integrare i loro dati proprietari nelle applicazioni di IA generativa.

Le aziende possono distribuire i microservizi Nvidia inclusi in Nvidia AI Enterprise 5.0 sull’infrastruttura di loro scelta come Amazon Web Services (AWS), Google Cloud, Azure e Oracle Cloud Infrastructure. I microservizi Nvidia sono inoltre supportati da oltre 400 sistemi certificati fra cui server e workstation di Cisco, Dell Technologies, HPE, HP, Lenovo e Supermicro.

I microservizi Nvidia AI Enterprise sono in arrivo anche sulle piattaforme software di infrastruttura, fra cui VMware Private AI Foundation with Nvidia. Red Hat OpenShift supporta i microservizi Nvidia NIM per aiutare le aziende a integrare più facilmente le capacità di IA generativa nelle loro applicazioni con funzionalità ottimizzate per la sicurezza, la conformità e i controlli, mentre Canonical sta aggiungendo il supporto di Charmed Kubernetes per i microservizi Nvidia attraverso Nvidia AI Enterprise.

Infine, anche l’ecosistema di centinaia di partner di Nvidia che si occupano di IA e MLOps, fra cui Abridge, Anyscale, Dataiku, DataRobot, Glean, H2O.ai, Securiti AI, Scale AI, OctoAI e Weights & Biases, sta aggiungendo il supporto per i microservizi Nvidia attraverso Nvidia AI Enterprise, mentre Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis e Weaviate sono fra i fornitori di ricerca vettoriale che collaborano con i microservizi Nvidia NeMo Retriever per alimentare le capacità di RAG reattive delle aziende.