Seeweb abbatte i costi dell’inferenza IA con le NPU di Tenstorrent, in cloud
Seeweb ha lanciato un acceleratore di IA che consente di gestire in particolar modo le fasi di inferenza abbattendo i costi sfruttando le NPU (Neural Processing Unit) della start-up canadese Tenstorrent, che necessitano di un quantitativo di memoria ridotto, hanno un costo e un consumo energetico più contenuti rispetto alle canoniche GPU e si prestano allo sviluppo di Small Language Model (SML).
La soluzione messa a punto da Seeweb può essere impiegata in maniera efficace anche nella fase di addestramento, ma dà il suo meglio quando viene utilizzata per il “light machine learning” e per i modelli piccoli, soprattutto in fase di inferenza. Si tratta del processo in cui un modello di IA già addestrato genera un contenuto nuovo elaborando dei dati che non aveva acquisito in precedenza.
Seeweb sta seguendo con particolare interesse questa nuova generazione di NPU, che oggi rappresenta una delle evoluzioni tecnologiche più promettenti per favorire lo sviluppo full-stack di applicativi IA e ML. Questa analisi costante è infatti fondamentale per soddisfare le esigenze delle aziende e del mondo della ricerca con una varietà di server e di schede adatte alle diverse esigenze e ai vari casi d’uso.
“L’accordo con Tenstorrent e la commercializzazione del primo servizio Cloud Server NPU con i loro chip sono per noi un importante risultato, sia perché riteniamo che ci sarà sempre più spazio per chip specializzati con funzioni verticali nell’ambito delle infrastrutture per l’intelligenza artificiale, sia perché i chip Tenstorrent sono basati sull’architettura aperta RISC-V, che potrebbe tracciare un nuovo futuro” ha commentato Antonio Baldassarra, CEO di Seeweb.