Google lancia l’LLM Gemini 1.5 con contesto da 1 milione di token, anche su Vertex AI
Google ha lanciato Gemini 1.5, la nuova versione più recente del suo modello linguistico di grandi dimensioni, mettendolo a disposizione degli sviluppatori e degli utenti biusiness prima di un lancio in chiave consumer atteso a breve
I miglioramenti di Gemini 1.5 rispetto alle versioni precedenti sono numerosi. Gemini 1.5 Pro, il modello generico del sistema di Google, è apparentemente alla pari con il recente Gemini Ultra e ha superato Gemini 1.0 Pro nell’87% dei test di benchmark. La tecnica alla base di Gemini 1.5 si chiama Mixture of Experts (MoE) ed esegue solo una parte del modello complessivo quando si invia una query invece di elaborare l’intero modello per tutto il tempo, in modo da rendere il modello più veloce per l’utente e più efficiente per Google.
La novità più significativa di Gemini 1.5 riguarda però la sua notevole finestra di contesto, ovvero la capacità gestire query molto più grandi e di esaminare molte più informazioni contemporaneamente. La finestra è infatti di 1 milione di token, rispetto ai 128.000 del GPT-4 di OpenAI e ai soli 32.000 dell’attuale Gemini Pro. “Sono circa 10 o 11 ore di video e decine di migliaia di righe di codice”, scrive Google nel post dell’annuncio. “La finestra di contesto significa che è possibile chiedere all’intelligenza artificiale di tutti questi contenuti in una sola volta”.
Come altro esempio Google ha fornito a Gemini 1.5 Pro un documento di 402 pagine della missione Apollo 11 e il modello è riuscito a ragionare su conversazioni identificando elementi rilevanti, mentre sul versante multimediale Gemini 1.5 Pro ha analizzato accuratamente trama ed eventi in un film muto di 44 minuti (Sherlock Jr. di Buster Keaton), cogliendo anche piccoli particolari.
I ricercatori di Google stanno testando addirittura una finestra contestuale da 10 milioni di token, ma già quella attuale rappresenta un traguardo notevole, soprattutto per le aziende. “Questo consente di creare casi d’uso in cui è possibile aggiungere molte informazioni e contesti personali al momento dell’interrogazione del modello”, ha dichiarato a The Verge il CEO di Google Sundar Pichai.
Per ora Gemini 1.5 sarà disponibile solo per gli utenti business e sviluppatori attraverso Vertex AI e AI Studio. Alla fine sostituirà Gemini 1.0 e la versione standard di Gemini Pro (quella già disponibile per tutti all’indirizzo gemini.google.com) sarà 1.5 Pro con una finestra contestuale da 128.000 token. Bisognerà quini pagare un extra per arrivare al milione di token e, nel frattempo, Google sta testando la sicurezza e i limiti etici del modello, in particolare per quanto riguarda la nuova finestra contestuale più ampia.