Da 1.000 a 191 milioni di dollari in 6 anni: la pazza crescita del costo per il training degli LLM
Il training di LLM avanzati come ChatGPT di OpenAI e Gemini Ultra di Google richiede investimenti milionari, con costi in rapida crescita. Con l’aumento delle esigenze computazionali, le spese per la potenza di calcolo necessaria all’addestramento stanno salendo vertiginosamente.
Il rapporto sull’Indice di Intelligenza Artificiale 2024 dell’Università di Stanford ha analizzato questo aumento dei costi di addestramento per i modelli di IA avanzati. I fattori chiave analizzati includono la durata dell’addestramento del modello, il tasso di utilizzo dell’hardware e il valore dell’hardware di addestramento.
Il report mostra un aumento vertiginoso dei costi di addestramento dal 2017 ad oggi, come si può vedere nel grafico sottostante. Per esempio, il modello Transformer di Google nel 2017 costava 930 dollari per l’addestramento. Nel 2022, il modello PaLM (540B) di Google è costato 12,4 milioni, mentre nel 2023 GPT-4 di OpenAI ha richiesto un investimento stimato di 78,4 milioni di dollari, per poi arrivare a Gemini Ultra che ha raggiunto la cifra impressionante di 191 milioni di dollari.
Di fronte a queste sfide economiche, le aziende di IA stanno cercando nuove soluzioni per addestrare i modelli linguistici contenendo i costi. Alcuni approcci includono la creazione di modelli più piccoli progettati per compiti specifici, mentre altre aziende stanno sperimentando la creazione di dati sintetici da utilizzare per l’addestramento dei sistemi di IA.
Tuttavia, non si è ancora vista una svolta decisiva in questo campo e questa tendenza all’aumento dei costi di addestramento solleva importanti questioni sul futuro dell’IA. Da un lato, l’investimento di risorse così ingenti dimostra la fiducia delle grandi aziende tecnologiche nel potenziale dell’IA avanzata.
Dall’altro, pone però interrogativi sulla sostenibilità economica di questo approccio a lungo termine e sulla possibilità che solo poche grandi aziende possano permettersi di sviluppare modelli di IA all’avanguardia. Inoltre, l’uso intensivo di risorse computazionali per il training degli LLM solleva preoccupazioni ambientali legate al consumo energetico.
