Le aziende si avvicinano sempre più all’intelligenza artificiale, sia con progetti pilota che con implementazioni su larga scala. Alcune stanno vedendo vantaggi significativi ma, trarre valore dall’AI, può essere sfuggente. I modelli potrebbero non essere efficienti. I set di dati di addestramento potrebbero non essere abbastanza grandi. I clienti potrebbero essere diffidenti. Ci sono anche preoccupazioni per pregiudizi, etica e trasparenza.

Mettere in produzione un’iniziativa di intelligenza artificiale prima che sia pronta o espandere una strategia di intelligenza artificiale oltre una fase iniziale prima di verificarne adeguatamente i risultati può costare denaro o, peggio, andare in una direzione dannosa per l’azienda.

Quindi, come stabilire se un progetto AI avrà successo? Senza rigidi numeri di ROI, le aziende devono essere creative nel valutare i possibili impatti dell’iniziativa. Ecco come i leader IT e gli addetti ai lavori del settore misurano il valore dei progettiAI.

Tecnologie mature vs tecnologie emergenti

Misurare il valore aziendale di qualsiasi iniziativa o tecnologia non è sempre un calcolo lineare. L’AI non fa eccezione, soprattutto se si considerano i gradi di maturità e il potenziale di business. Variabili comprovate e predittive – come data mining, risparmi sui costi e sulla formazione, investimenti e capacità di facilitare nuovi usi – influenzano le decisioni quando si tratta di un ROI accettabile, ma è essenziale riporre un certo grado di fiducia nella tecnologia, non importa quanto nuova o consolidata.

Al Jet Propulsion Laboratory della NASA, per esempio, il fattore chiave per misurare il ROI di un progetto di intelligenza artificiale è la maturità tecnologica.

“Alcuni casi d’uso dell’AI hanno un alto livello di maturità”, afferma Chris Mattmann, Chief Technology and Innovation Officer presso il JPL. “Consideriamo l’automazione dei processi aziendali. Abbiamo anche noi quelle operazioni noiose che hanno tutte le aziende. Quindi automatizziamo cose come l’elaborazione dei ticket, la ricerca, il data mining, l’analisi di contratti e subappalti utilizzando l’AI“.

Il JPL utilizza tecnologie disponibili in commercio, come DataRobot e Google Cloud. “Per determinare se vale la pena investire in una particolare tecnologia, valutiamo se farà risparmiare costi, tempo e risorse”, spiega Mattmann. “Se è un a tecnologia matura, dovremmo essere in grado di misurare questi fattori”.

Per una tecnologia di livello medio di maturità, JPL esamina se è in grado di abilitare nuovi casi d’uso e a quale costo. “Per esempio, stiamo andando su Marte e abbiamo un canale per le telecomunicazioni nello spazio profondo. La larghezza di banda è sufficiente per inviare circa 200 immagini al giorno da Marte alla Terra”.

“Quei brillanti rover su Marte che inviamo hanno un cervello grande quanto una biglia”, spiega. “Si basano su processori iPhone 1. Mandiamo nello spazio solo hardware resistente alle radiazioni, che possa resistere all’ambiente dello spazio profondo. I chip che sappiamo funzionare bene sono quelli più vecchi, quindi non eseguiamo AI o ML avanzati sui rover”.

Ma l’elicottero Ingenuity, che originariamente era inteso semplicemente come una dimostrazione tecnologica e non era il fulcro della missione, aveva a bordo un processore Qualcomm Snapdragon, un chip AI. “Ci ha mostrato che era possibile avere chip più recenti e utilizzare anche l’intelligenza artificiale”.

Qui, l’AI consentirà nuovi casi d’uso attualmente non possibili. Per esempio, invece di inviare 200 immagini al giorno, il rover potrebbe analizzare le immagini stesse utilizzando l’intelligenza artificiale e inviare sulla Terra un milione di didascalie in formato testuale per descrivere, per esempio, la presenza di un fondale asciutto in una particolare direzione. “Potremmo ottenere più visibilità con il testo di quanto non facciamo oggi con le immagini“, spiega Mattmann.

Infine, per le tecnologie più all’avanguardia e sperimentali, la misura del successo è se consentono di fare nuove ricerche scientifiche e scrivere e pubblicare nuovi articoli.

“C’è un costo per la formazione e la costruzione di modelli“, dice Mattmann. Aziende come Google e Microsoft hanno accesso immediato a enormi volumi di dati sulla formazione, ma in JPL i set di dati sono difficili da acquisire e richiedono l’analisi e l’etichettatura di professionisti esperti. “Alla NASA, i costi per addestrare un nuovo modello di intelligenza artificiale sono da 10 a 20 volte quelli dell’industria commerciale“.

Qui stanno arrivando nuove tecnologie che potrebbero consentire alla NASA di creare modelli di intelligenza artificiale con minore intervento manuale. Per esempio, le reti generative potrebbero essere utilizzate per creare dati sintetici di allenamento.

La misurazione dell’AI e le sue sfere di influenza

Quando non esiste un modo diretto per misurare l’impatto sul business di un progetto di intelligenza artificiale, le aziende estraggono i dati dai relativi indicatori chiave di prestazione (KPI). Le variabili in genere si riferiscono a obiettivi aziendali e possono includere la soddisfazione dei clienti, il time-to-market o i tassi di fidelizzazione dei dipendenti.

Un esempio calzante è l’Atlantic Health System. “I pazienti sono al centro di ogni decisione”, afferma il CIO Sunil Dadlani. “Il ritorno dell’investimento in progetti AI viene misurato osservando i miglioramenti nell’assistenza ai pazienti. Queste metriche incentrate sul paziente includono una durata ridotta del soggiorno, tempi più rapidi per il trattamento, verifiche di idoneità assicurativa più rapide e autorizzazioni assicurative precedenti più rapide”.

Un altro progetto prevede l’utilizzo dell’AI per supportare i radiologi nell’esame delle scansioni. Un KPI è la frequenza con cui i radiologi vengono avvisati di risultati potenzialmente anomali. “Ad aprile 2022 il 99% dei nostri radiologi ha riferito di aver utilizzato l’AI per analizzare più di 12.000 studi“, afferma Dadlani. Questo ha attivato quasi 600 segnalazioni, consentendo ai medici di affrontare problemi potenzialmente seri il più rapidamente possibile.

Focus sui vantaggi aziendali

Anche misurare il successo dell’AI può essere soggettivo. “Valutare un progetto di intelligenza artificiale è un’arte, tanto quanto sviluppare l’intelligenza artificiale stessa”, afferma Eugenio Zuccarelli, ricercatore del MIT che lavora anche come data scientist nel settore retail.

“Tuttavia, è importante essere in grado di spiegare l’impatto che l’AI sta avendo sul business”, dice Zuccarelli. “I KPI non dovrebbero essere impostati attorno al modello stesso, ma sulle metriche di business e sulle persone, che dovrebbero essere gli obiettivi finali del progetto“. Altrimenti si rischia di scegliere una metrica tecnica che sembra mostrare successo, ma in realtà non si traduce in un impatto effettivo sull’azienda.

Zuccarelli, che ha ricoperto incarichi di data scientist presso BMW e Telstra, mette in guardia anche dal misurare i progressi in modo isolato. Per esempio, se è stato sviluppato un progetto AI per migliorare qualcosa che stava già migliorando per altri motivi, è necessario un gruppo di controllo per determinare quanto il miglioramento è effettivamente dovuto all’AI.

Altri importanti KPI per i progetti di intelligenza artificiale sono, per esempio, “la riduzione dei falsi allarmi o la rimozione automatica di privilegi eccessivi”, afferma Vladislav Shapiro, che ha anni di esperienza nel settore dei servizi finanziari ed è fondatore di Costidity, un gruppo di consulenza specializzato in sicurezza IT e gestione delle identità.

In una recente implementazione di sicurezza basata sull’intelligenza artificiale a cui Shapiro ha lavorato, il tasso di falsi positivi è stato ridotto di tre volte e molti processi precedentemente manuali sono stati automatizzati.

Misurare il successo in modo incrementale

“L’automazione che porta alla riduzione dei costi è il modo più semplice e chiaro per mostrare i vantaggi economici dell’AI“, afferma Sanjay Srivastava, chief digital strategist di Genpact, società globale di servizi professionali. “Ma l’AI può anche facilitare nuovi flussi di entrate o persino trasformare completamente il modello di business di un’azienda“.

Per esempio, un produttore di motori aeronautici ha utilizzato l’AI per migliorare la previsione dei guasti e la logistica, in modo da offrire i motori come servizio. “Per il consumatore finale, è meglio acquistare le miglia percorse rispetto al motore stesso“, spiega Srivastava. “E’ un nuovo modello di business: cambia il modo in cui opera un’azienda perché l’AI lo consente. E anche l’impatto sul business è immediatamente evidente”.

Per giustificare gli investimenti in AI, il produttore aveva bisogno dell’obiettivo a lungo termine, ma lo ha tradotto in progetti a breve termine che erano misurabili in modo più diretto.

Anziché pensare che “tra dieci anni rivoluzioneremo il settore”, l’azienda si è concentrata sui cambiamenti ottenibili e misurabili nel primo anno. “Non si tratta di cambiare l’intero settore, ma di stabilire la necessità dei pezzi giusti e nelle giuste quantità”, afferma Srivastava. “È un progetto di un anno per ottimizzare i sistemi di magazzino e ridurre il costo dell’inventario“.

Allineamento con la visione strategica

A breve termine alcuni progetti di intelligenza artificiale possono danneggiare i profitti, ma essere comunque importanti e trasformativi a lungo termine. Per esempio, un’azienda che implementa un chatbot del servizio clienti può eliminare le attività banali. “Ma i chatbot possono essere controproducenti, perché alcuni venditori sono bravi nell’upselling e vogliono interagire con le persone“, afferma Whit Andrews, analista di Gartner. “Quindi l’organizzazione potrebbe non vederne i vantaggi”.

“In questi casi la scelta dipende dal tipo di azienda che si vuole essere”, dice Andrews.

Se l’organizzazione è impegnata in una trasformazione basata sull’intelligenza artificiale con un ROI misurato per sostenerla e ha una visione incentrata sul cliente, allora potrebbe guardare oltre il risultato immediato e valutare il risultato finale attraverso altri indicatori potenzialmente più significativi.

“Un’organizzazione può aumentare la sua quota di mercato attraverso l’automatizzazione“, conclude Andrews. “Ma può sempre sviluppare i suoi dati in modo da prevedere un contatto diretto con il personale dove lo ritiene più rilevante. La logica ci dice semplicemente che questo renderà i suoi clienti più felici e i suoi lavoratori più coinvolti, quindi è la strada giusta da seguire”.

Maria Korolov