IBM ha annunciato la disponibilità dell’LLM open-source Mixtral-8x7B (sviluppato dalla startup francese Mistral AI) sulla sua piattaforma di dati e AI watsonx, con l’obiettivo di aiutare i clienti a innovare con i foundation model propri di IBM e quelli di una gamma di provider open source.

IBM offre una versione ottimizzata di Mixtral-8x7b che, nei test interni, è stato in grado di aumentare la quantità di dati che può essere elaborata in un determinato periodo di tempo del 50% rispetto al modello base. Ciò potrebbe potenzialmente ridurre la latenza del 35-75%, a seconda della dimensione del batch, accelerando il tempo per ottenere gli insight. Tale risultato viene raggiunto grazie a un processo noto come quantizzazione, che riduce la dimensione del modello e i requisiti di memoria per gli LLM e, di conseguenza, può accelerare l’elaborazione per contribuire a ridurre i costi e il consumo di energia.

Grazie alla ricerca e allo sviluppo dell’IA sul quale sta lavorando da decenni, alla collaborazione aperta con Meta e Hugging Face e alle partnership con i leader del settore, IBM sta ampliando la propria offerta di soluzioni di IA introducendo nuove capacità, linguaggi e modalità. La scelta di IBM di foundation model pronti per le imprese all’interno della piattaforma watsonx permette ai clienti di utilizzare l’IA generativa per ottenere nuovi insight, efficienze e creare nuovi modelli di business basati su principi di affidabilità.

watsonsx

Mixtral-8x7B è stato costruito utilizzando la combinazione di modellazione Sparse (una tecnica innovativa che trova e utilizza solo le parti più essenziali dei dati per creare modelli più efficienti) e la tecnica Mixture-of-Experts, che combina diversi modelli in grado di risolvere specifiche problematiche. Il modello Mixtral-8x7B è noto per la sua capacità di elaborare e analizzare rapidamente grandi quantità di dati per fornire insight pertinenti al contesto.

Questa settimana, IBM ha annunciato anche la disponibilità su watsonx di ELYZA-japanese-Llama-2-7b, un modello LLM giapponese open-source di ELYZA Corporation. IBM offre all’interno di watsonx anche i modelli open-source di Meta Llama-2-13B-chat e Llama-2-70B-chat e altri di terze parti. Inoltre, nei prossimi mesi è prevista l’introduzione in watsonx di nuovi modelli.