Con l’obiettivo di offrire un’intelligenza artificiale aziendale compatta, efficiente e pratica, IBM ha annunciato il lancio di Granite 3.2, la nuova generazione della sua famiglia di LLM Granite. La strategia di IBM punta su modelli specializzati e di dimensioni ridotte, per garantire elevate prestazioni ottimizzando al contempo costi e risorse computazionali.

I modelli Granite 3.2 sono disponibili con licenza Apache 2.0 su Hugging Face e possono essere utilizzati su IBM watsonx.ai, Ollama, Replicate e LM Studio (a breve saranno integrati anche in RHEL AI 1.5).

Ecco le caratteristiche principali:

• Nuovo Vision Language Model (VLM) ottimizzato per la comprensione di documenti. Questo modello garantisce prestazioni pari o superiori rispetto a modelli di dimensioni maggiori, come Llama 3.2 11B e Pixtral 12B, nei benchmark essenziali per il settore aziendale tra cui DocVQA, ChartQA, AI2D e OCRBench. IBM ha sfruttato il proprio toolkit open-source Docling per elaborare 85 milioni di PDF e generare 26 milioni di coppie domanda-risposta sintetiche, migliorando così la capacità del VLM di gestire flussi di lavoro documentali complessi
• Capacità avanzate di “chain of thought” per migliorare il ragionamento nei modelli 3.2 2B e 8B. Gli utenti possono attivare o disattivare questa funzione per bilanciare efficienza e prestazioni. Il modello 8B mostra miglioramenti a due cifre nei benchmark di follow-up delle istruzioni, come ArenaHard e Alpaca Eval, senza compromessi su sicurezza o performance. Grazie a nuovi metodi di scalabilità dell’inferenza, il modello può competere con soluzioni di fascia alta come Claude 3.5-Sonnet e GPT-4o nei test di ragionamento matematico, tra cui AIME2024 e MATH500
• Ottimizzazione dei modelli di sicurezza Granite Guardian, con una riduzione del 30% delle dimensioni rispetto alla versione precedente mantenendo le stesse prestazioni. La nuova funzionalità “verbalized confidence” permette una valutazione del rischio più sfumata, riconoscendo l’ambiguità nei processi di monitoraggio della sicurezza

Granite Vision è stato messo a punto su 13,7 milioni di pagine PDF di documenti aziendali.

Con Granite 3.2, IBM continua inoltre a concentrarsi sulla praticità dell’IA per le aziende. L’approccio “chain of thought” consente un ragionamento più sofisticato, ma può essere disattivato per evitare un consumo di risorse computazionali non necessario in attività più semplici. Parallelamente, i miglioramenti nella scalabilità dell’inferenza dimostrano che il modello Granite 8B può competere con alternative di dimensioni maggiori, garantendo efficienza senza sacrificare le prestazioni.

Oltre ai modelli Granite 3.2 Instruct, Vision e Guardrail, IBM ha annunciato anche una nuova generazione di modelli TinyTimeMixers (TTM), con meno di 10 milioni di parametri e capacità predittive a lungo termine fino a due anni nel futuro. Questi modelli sono strumenti potenti per analisi delle tendenze finanziarie ed economiche, previsione della domanda nella supply chain e pianificazione dell’inventario stagionale nel settore retail.

Sriram Raghavan, VP di IBM AI Research, ha evidenziato come la nuova era dell’intelligenza artificiale debba essere incentrata su efficienza, integrazione e impatto concreto. “Con Granite 3.2, IBM rafforza il suo impegno nel fornire soluzioni IA open-source, accessibili e ottimizzate per il mondo aziendale, garantendo un perfetto equilibrio tra potenza computazionale, costi e valore per le imprese”.