Nel 2017 l’Economist ha dichiarato che i dati hanno sostituito il petrolio come risorsa più preziosa al mondo. Da allora il ritornello è stato ripetuto molte volte. Aziende di tutti i settori hanno investito e continuano a investire pesantemente in dati e analisi dei dati. Ma, come il petrolio, anche dati e analytics hanno il loro lato oscuro.

Secondo il report State of the CIO di IDG, il 39% dei leader IT afferma che l’analisi dei dati guiderà la maggior parte degli investimenti IT nella propria azienda quest’anno, rispetto al 37% del 2020. Le informazioni acquisite dalle analisi e le azioni guidate dagli algoritmi di apprendimento automatico possono offrire alle aziende un vantaggio competitivo, ma gli errori possono essere costosi in termini di reputazione, fatturato e persino vite umane.

Comprendere i dati e cosa dicono è importante, ma è importante anche avere il controllo sugli strumenti di analisi e tenere ben presenti i valori aziendali. Per illustrare cosa può andare storto, vi presentiamo cinque esempi di errori commessi nell’ambito di analytics e intelligenza artificiale nell’ultimo decennio.

Immobili sovrastimati: Zillow perde dipendenti e milioni di dollari

Nel novembre 2021, il marketplace online di compravendita immobiliare Zillow ha comunicato agli azionisti che avrebbe chiuso le sue operazioni Zillow Offers e tagliato il 25% della forza lavoro della società, ovvero circa 2.000 dipendenti.

Queste scelte sono state la conseguenza di una importante perdita finanziaria, dovuta a problemi nell’algoritmo di apprendimento automatico utilizzato per prevedere i prezzi delle case.

Attraverso il programma Zillow Offers l’azienda faceva offerte d’acquisto in contanti basate sul sistema “Zestimate”, che elaborava una stima del valore degli immobili derivata da un algoritmo di apprendimento automatico. L’idea era ristrutturare gli immobili e rivenderlei rapidamente. Ma un portavoce di Zillow ha dichiarato alla CNN che l’algoritmo aveva un tasso di errore medio dell’1,9%, che poteva arrivare anche aìal 6,9%.

Come riportato dalla CNN, Zillow ha acquistato 27.000 case tramite Zillow Offers dal suo lancio nell’aprile 2018, ma alla fine di settembre 2021 ne aveva vendute solo 17.000. Eventi imprevedibili come la pandemia COVID-19 e la carenza di manodopera per la ristrutturazione delle case hanno contribuito ai problemi di precisione dell’algoritmo.

Zillow ha affermato che l’algoritmo ha portato la società ad acquistare involontariamente case a prezzi più alti rispetto alle sue stime sui prezzi di vendita futuri, con una conseguente svalutazione del suo patrimonio di 304 milioni di dollari nel terzo trimestre 2021.

La pandemia ha rapidamente accelerato il ritmo di tendenze che si stavano già verificando, quali ambienti di lavoro flessibili, retail e banche omnicanale, esperienze digitali innovative, telemedicina.

In una videoconferenza con gli investitori dopo l’annuncio, il co-fondatore e CEO di Zillow Rich Barton ha affermato che sarebbe stato possibile modificare l’algoritmo, ma l’operazione è stata valutata come troppo rischiosa.

Perse migliaia di informazioni su pazienti COVID

Nell’ottobre 2020 l’ente governativo Public Health England (PHE), responsabile del conteggio delle nuove infezioni da Covid-19 nel Regno Unito, ha rivelato che tra il 25 settembre e il 2 ottobre quasi 16.000 casi di coronavirus non sono stati riportati. Il colpevole? Limitazioni dei dati in Microsoft Excel.

PHE utilizza un processo automatizzato per trasferire i risultati di laboratorio sui pazienti positivi al COVID-19 come file CSV in modelli Excel utilizzati nelle dashboard di reporting e per il tracciamento dei contatti. Sfortunatamente, i fogli di calcolo Excel hanno un massimo di 1.048.576 righe e 16.384 colonne per foglio di lavoro. Inoltre, PHE elencava i casi in colonne anziché in righe. Quando i casi hanno superato il limite di 16.384 colonne, Excel ha tagliato i 15.841 record in fondo.

Il “glitch” non ha impedito alle persone che sono state sottoposte a test di ricevere i loro risultati, ma ha ostacolato il tracciamento dei contatti, rendendo più difficile per il servizio sanitario nazionale del Regno Unito (NHS) identificare e informare le persone che sono state a stretto contatto con pazienti contagiati. In una dichiarazione del 4 ottobre Michael Brodie, amministratore delegato ad interim di PHE, ha affermato che NHS e PHE hanno risolto rapidamente il problema e trasferito immediatamente tutti i casi in sospeso nel sistema di tracciamento dei contatti NHS Test and Trace.

PHE ha messo in atto una “mitigazione rapida” che divide file di grandi dimensioni e ha condotto una revisione completa end-to-end di tutti i sistemi per prevenire incidenti simili in futuro.

L’algoritmo sanitario segnala solo pazienti bianchi

Nel 2019 uno studio pubblicato su Science ha rivelato che un algoritmo di previsione sulla salute, utilizzato da ospedali e compagnie assicurative in tutti gli Stati Uniti per identificare i pazienti che necessitano di programmi di gestione delle cure “ad alto rischio”, non riusciva a individuare i pazienti di colore.

I programmi di gestione dell’assistenza ad alto rischio forniscono personale infermieristico qualificato e monitoraggio delle cure primarie ai pazienti cronici, con l’obiettivo di prevenire gravi complicazioni. Ma era molto più probabile che l’algoritmo suggerisse per questi programmi i pazienti bianchi rispetto ad altri pazienti.

Lo studio ha rilevato che l’algoritmo utilizzava la spesa sanitaria come riferimento per determinare le esigenze sanitarie di un individuo. Secondo Scientific American, i costi sanitari dei pazienti neri malati più gravemente erano pari ai costi dei pazienti bianchi più sani, il che significava che ricevevano punteggi di rischio più bassi anche quando il loro bisogno era maggiore.

I ricercatori dello studio hanno suggerito alcuni fattori che potrebbero aver contribuito a questo errore. In primo luogo, le persone di colore hanno maggiori probabilità di avere redditi più bassi, il che potrebbe renderle meno propense ad accedere alle cure mediche, anche se sono assicurate. Pregiudizi impliciti possono anche indurre cure di qualità inferiore per le persone di colore.

Sebbene lo studio non abbia reso noto il nome dell’algoritmo, i ricercatori hanno dichiarato a Scientific American che stavano lavorando con il suo sviluppatore per risolvere il problema.

Il chatbot di Microsoft diffonde tweet razzisti

Nel marzo 2016 Microsoft ha scoperto che l’utilizzo delle interazioni di Twitter come dati di addestramento per algoritmi di apprendimento automatico può avere risultati sconcertanti.

Microsoft ha rilasciato Tay, un chatbot AI, sulla piattaforma del social media. L’azienda lo ha descritto come un esperimento di “comprensione conversazionale”. L’idea era che il chatbot interpretasse il personaggio di una ragazza adolescente e interagisse con gli utenti di Twitter utilizzando una combinazione di apprendimento automatico ed elaborazione del linguaggio naturale. Microsoft lo ha alimentato con dati pubblici resi anonimi e del materiale scritto da attori, quindi lo ha rilasciato per imparare ed evolversi dalle sue interazioni sul social network.

Nel giro di 16 ore il chatbot ha pubblicato più di 95.000 tweet, che sono diventati chiaramente razzisti, misogini e antisemiti. Microsoft ha rapidamente sospeso il servizio per modifiche e alla fine ha staccato la spina.

“Siamo profondamente dispiaciuti per i tweet non intenzionalmente offensivi di Tay, che non corrispondono a chi siamo o cosa rappresentiamo, né il modo in cui abbiamo progettato Tay”, ha scritto Peter Lee, vicepresidente di Microsoft Research & Incubations (allora vice presidente di Microsoft Healthcare), sul blog ufficiale di Microsoft in seguito all’incidente.

Lee ha osservato che il predecessore di Tay, Xiaoice, rilasciato da Microsoft in Cina nel 2014, aveva avuto conversazioni con più di 40 milioni di persone nei due anni precedenti al rilascio di Tay, senza riportare alcun problema.

Ciò che Microsoft non ha tenuto in considerazione è che un gruppo di utenti di Twitter avrebbe immediatamente iniziato a twittare commenti razzisti e misogini contro Tay. Il bot ha imparato rapidamente da quel materiale e lo ha incorporato nei propri tweet.

“Anche se ci eravamo preparati per molti tipi di abusi del sistema, abbiamo sottovalutato questo specifico attacco. Di conseguenza, Tay ha twittato parole e immagini riprovevoli e assolutamente inappropriate”, ha scritto Lee.

Strumento di selezione basato su Amazon AI sceglie solo uomini

Come molte grandi aziende, Amazon usa strumenti che aiutano il team HR a selezionare i curricula dei migliori candidati. A questo scopo, nel 2014 Amazon ha iniziato a lavorare su un software di reclutamento basato sull’intelligenza artificiale. C’era solo un problema: il sistema preferiva di gran lunga i candidati maschi. Nel 2018 Reuters ha dato la notizia che Amazon aveva abbandonato il progetto.

Il sistema di Amazon assegnava ai candidati una valutazione da 1 a 5 stelle. I modelli di apprendimento automatico alla base del sistema erano stati addestrati sui curricula inviati ad Amazon nei dieci anni precedenti, la maggior parte dei quali da uomini. Come risultato della formazione su quei dati, il sistema tendeva a penalizzare curricula che contenevano la parola “donne” e persino a declassare i candidati provenienti da college femminili.

All’epoca, Amazon dichiarò che lo strumento non era mai stato effettivamente utilizzato per valutare i candidati.

L’azienda ha provato a modificare lo strumento per renderlo neutro, ma infine ha ammesso che non poteva garantire che la selezione dei candidati non fosse discriminatoria e ha chiuso il progetto.

Target ha violato la privacy con un progetto di analytics

Nel 2012 un progetto del gigante del retail Target ha mostrato quanto le aziende possono imparare sui clienti dai loro dati. Secondo il New York Times, nel 2002 il reparto marketing di Target iniziò a chiedersi come poteva determinare se le clienti fossero in gravidanza. Quella linea di indagine ha portato a un progetto di analisi predittiva che avrebbe notoriamente permesso al rivenditore di rivelare inavvertitamente alla famiglia di un’adolescente che era incinta.

Il reparto marketing di Target voleva identificare le clienti in dolce attesa perché ci sono determinati periodi della vita – la gravidanza in primis – in cui le persone hanno maggiori probabilità di cambiare radicalmente le loro abitudini di acquisto. Se Target fosse in grado di intercettarle in quel periodo potrebbe, per esempio, seguire i nuovi comportamenti in quei clienti, inducendoli a rivolgersi al rivenditore per generi alimentari, abbigliamento o altri beni.

Come tutti gli altri grandi retailer, Target raccoglieva dati sui propri clienti tramite codici acquirente, carte di credito, sondaggi e altri strumenti. Abbinandoli con dati demografici e dati di terze parti (acquistati), il team di Target ha potuto determinare che c’erano circa 25 prodotti venduti dall’azienda che potevano essere analizzati insieme per generare un punteggio di “previsione della gravidanza”. Il reparto marketing poteva quindi individuare i clienti con punteggi elevati e inviare loro coupon e messaggi di marketing.

*Aggiornamento dell’articolo originariamente pubblicato a ottobre 2020