6 rischi derivanti dalla mancanza di etica e governance dell’intelligenza artificiale

A seconda dei film di Terminator che si guarda, la malvagia intelligenza artificiale chiamata Skynet ha già preso il controllo dell’umanità o sta per farlo. Ma non sono solo gli scrittori di fantascienza ad essere preoccupati per i pericoli di un’IA incontrollata. In un sondaggio del 2019 di Emerj, una società di ricerca e consulenza sull’intelligenza artificiale, il 14% dei ricercatori di intelligenza artificiale ha affermato che l’IA era una “minaccia esistenziale” per l’umanità. Anche se non siamo qui a parlare di un’apocalisse causata dall’IA, la mancanza di etica nell’ambito dell’intelligenza artificiale pone grossi rischi per la società e per le aziende che implementano sistemi di IA.

Al centro di questi rischi ci sono i fattori inerenti alla tecnologia, come ad esempio il modo in cui un particolare sistema di IA arriva a una determinata conclusione (la cosiddetta spiegabilità), e quelli endemici dell’uso dell’IA da parte di un’azienda, compreso il ricorso a set di dati distorti o l’implementazione di intelligenza artificiale senza un’adeguata governance in atto.

E mentre l’IA può fornire alle aziende un vantaggio competitivo in vari modi, dalla scoperta di opportunità di business trascurate allo snellimento di processi costosi, gli aspetti negativi dell’IA senza un’adeguata attenzione alla governance, all’etica e alle normative in evoluzione possono essere catastrofici. I seguenti problemi di implementazione nel mondo reale evidenziano i rischi importanti di cui ogni leader IT deve tenere conto nel mettere insieme una strategia di implementazione dell’IA nella propria azienda.

Pubbliche relazioni disastrose

Il mese scorso, un documento ottenuto da Motherboard ha mostrato che Meta non ha idea di cosa stia succedendo ai dati dei suoi utenti. “Non abbiamo un livello adeguato di controllo e spiegabilità su come i nostri sistemi utilizzano i dati”, si legge nel documento, attribuito tra l’altro agli ingegneri della privacy di Meta.

Ora la società guidata da Mark Zuckerberg sta affrontando uno “tsunami di normative in arrivo” che non può essere affrontato senza investimenti pluriennali nelle infrastrutture. In particolare, secondo il documento, Meta ha poca fiducia nella sua capacità di affrontare problemi fondamentali con il machine learning e le applicazioni di intelligenza artificiale. “Questa è una nuova area per la regolamentazione ed è molto probabile che vedremo nuovi requisiti negli anni a venire. Abbiamo una fiducia molto bassa che le nostre soluzioni siano sufficienti”.

Questo “incidente”, che fornisce informazioni su cosa può andare storto per qualsiasi azienda che abbia implementato l’IA senza un’adeguata governance dei dati, è solo l’ultimo di una serie di aziende di alto profilo che hanno dovuto affrontare disastri di PR legati all’IA.

Nel 2014, Amazon ha creato un software di reclutamento basato sull’intelligenza artificiale che preferiva in modo schiacciante i candidati maschi. Nel 2015, l’app Foto di Google ha etichettato le immagini di persone di colore come “gorilla”. Non imparando da quell’errore, Facebook ha dovuto scusarsi per un errore simile lo scorso autunno, quando ai suoi utenti è stato chiesto se volevano “continuare a vedere video sui primati” dopo aver visto un video con uomini di colore. Il chatbot Tay di Microsoft, pubblicato su Twitter nel 2016, ha iniziato rapidamente a riversare messaggi razzisti, misogini e antisemiti.

La cattiva pubblicità è una delle più grandi paure che le aziende hanno quando si tratta di progetti di intelligenza artificiale, afferma Ken Adler dello studio legale Loeb & Loeb. “Queste grandi aziende sono logicamente preoccupate per l’implementazione di una soluzione che, a loro insaputa, possa avere pregiudizi su razza, etnia o genere”.

Impatto sociale negativo

I sistemi di IA “distorti” stanno già causando danni. Un algoritmo di credito che discrimina le donne o uno strumento di raccomandazione delle risorse umane che non suggerisce corsi di leadership ad alcuni dipendenti metterà queste persone in una posizione di svantaggio. In alcuni casi, queste raccomandazioni possono essere letteralmente una questione di vita o di morte, come nel caso di un ospedale con cui lavorò Carm Taglienti, un ingegnere di Insight.

I pazienti che vengono al pronto soccorso dell’ospedale spesso hanno problemi oltre a quelli per cui sono specificamente presenti. “Se una persona arriva in pronto soccorso lamentando dolori al petto, potrebbe esserci anche un problema di sangue o altro”, spiega Taglienti. Il team di data science di questo particolare ospedale aveva costruito un sistema per identificare tali comorbidità. Il lavoro è stato fondamentale perché se un paziente arriva in ospedale e ha un secondo problema potenzialmente fatale non rilevato dai medici, potrebbe essere mandato a casa e finire per morire.

La domanda, tuttavia, era fino a che punto i medici dovrebbero agire secondo la raccomandazione del sistema di IA. Se una correlazione scoperta dall’algoritmo è debole, i medici potrebbero sottoporre i pazienti a test non necessari che sarebbero una perdita di tempo e denaro per l’ospedale. Ma se i test non vengono condotti ed merge un problema che potrebbe rivelarsi mortale, si inizia a dubitare del valore che l’ospedale offre alla sua comunità.

A questo punto sembrerebbe più logico adottare un approccio utilitaristico ed eseguire quanti più test possibili sul paziente, ma non è una soluzione pratica quando le risorse di un ospedale sono limitate. Un’opzione è raccogliere dati di addestramento migliori per migliorare gli algoritmi in modo che i consigli forniti dall’IA siano più precisi. L’ospedale ha fatto proprio questo investendo di più nella raccolta dei dati.

Sistemi che non superano gli obblighi normativi

Sanjay Srivastava, chief digital strategist di Genpact, ha lavorato con una grande società di servizi finanziari globale che stava cercando di utilizzare l’IA per migliorare le sue decisioni nell’ambito dei prestiti. Una banca non dovrebbe utilizzare determinati criteri, come l’età o il sesso, quando prende alcune decisioni, ma estrapolare semplicemente i dati relativi all’età o al sesso dai dati di allenamento dell’IA non è sufficiente, perché i dati potrebbero contenere altre informazioni che sono correlate con l’età o il sesso.

“Il set di dati di addestramento che hanno utilizzato aveva molte correlazioni”, afferma Srivastava. “Ciò li ha esposti a un’impronta di rischio maggiore di quella prevista”. La banca ha finito per dover tornare al set di dati di addestramento e rintracciare e rimuovere tutti gli altri data point, un processo che è durato diversi mesi.

La lezione, in questo specifico caso, è assicurarsi che il team che costruisce il sistema non sia solo composto da data scientist, ma che includa anche un insieme diversificato di esperti in materia. “Non imbarcatevi mai in un progetto di intelligenza artificiale con i soli data scientist”, continua Srivastava.

L’assistenza sanitaria è un altro settore in cui il mancato rispetto dei requisiti normativi può rimandare un intero progetto al cancello di partenza. È quello che è successo a un’azienda farmaceutica globale che lavorava su un vaccino contro il COVID. “Molte aziende farmaceutiche hanno utilizzato l’IA per trovare soluzioni più velocemente”, afferma Mario Schlener di Ernst & Young.

Questa azienda ha fatto buoni progressi nella creazione di algoritmi, “ma la mancanza di governance che circondava il loro processo di sviluppo dell’algoritmo ha reso il progetto obsoleto”. E poiché l’azienda non poteva spiegare alle autorità di regolamentazione come funzionavano gli algoritmi, ha finito per perdere nove mesi di lavoro durante il picco della pandemia.

Sanzioni del GDPR

Il regolamento generale sulla protezione dei dati dell’UE (GDPR) è una delle leggi sulla protezione dei dati più severe al mondo, con sanzioni fino a 20 milioni di euro o pari al 4% delle entrate globali dell’azienda sanzionata. Da quando la legge è entrata in vigore nel 2018, sono state emesse più di 1.100 multe e il numero continua a salire.

Il GDPR e normative simili emergenti in tutto il mondo limitano il modo in cui le aziende possono utilizzare o condividere dati privati sensibili. Poiché i sistemi di intelligenza artificiale richiedono enormi quantità di dati per il training, senza pratiche di governance adeguate è facile infrangere le leggi sulla privacy dei dati quando si implementa l’intelligenza artificiale.

“Purtroppo, nei confronti della governance dell’IA, sembra che molte organizzazioni abbiano un atteggiamento del tipo “la aggiungeremo quando ne avremo bisogno” afferma Mike Loukides, vicepresidente dei contenuti tecnologici emergenti presso O’Reilly Media. “Aspettare di averne bisogno è la cosa più sbagliata che si possa fare”.

L’Unione Europea sta lavorando anche a una legge sull’intelligenza artificiale che creerebbe una nuova serie di regolamenti specifici sull’IA. L’AI Act è stato proposto per la prima volta nella primavera del 2021 e potrebbe essere approvato già nel 2023. Il mancato rispetto comporterà una serie di sanzioni pecuniarie fino al 6% delle entrate globali, superiori anche a quelle del GDPR.

Sistemi irreparabili

Ad aprile, un’auto a guida autonoma gestita da Cruise, una compagnia sostenuta da General Motors, è stata fermata dalla polizia perché guidava senza i fari accesi. Il video di un agente di polizia confuso che si avvicina all’auto e scopre che non c’era nessuno a bordo è diventato rapidamente virale.

L’auto è poi ripartita e si è fermata di nuovo, permettendo alla polizia di raggiungerla. Capire perché l’auto ha fatto tutto questo può essere complicato. “Dobbiamo capire come vengono prese le decisioni nelle auto a guida autonoma” afferma Dan Simion, vicepresidente di AI e analisi di Capgemini. “La casa automobilistica deve essere trasparente e spiegare cosa è successo. Trasparenza e spiegabilità sono componenti di un’IA etica”.

Troppo spesso, i sistemi di intelligenza artificiale sono imperscrutabili “scatole nere” che forniscono poche informazioni su come trarre conclusioni. In quanto tali, trovare l’origine di un problema può essere molto difficile, facendo sorgere dubbi sul fatto che il problema possa davvero essere risolto.

“Alla fine, penso che arriveranno delle normative ad hoc per le auto a guida autonoma, ma anche per decisioni autonome in altri settori”, afferma Simion. Ma le aziende non dovrebbero aspettare per creare spiegabilità e trasparenza nei loro sistemi di intelligenza artificiale, dice Simion. È più facile ed economico a lungo termine costruire una spiegazione da zero, invece di cercare di fornirla alla fine. Inoltre, ci sono ragioni economiche immediate, pratiche e di business per creare un’IA spiegabile.

Oltre ai vantaggi per le pubbliche relazioni nello spiegare perché un sistema di intelligenza artificiale ha fatto ciò che ha fatto, le aziende attente alla spiegabilità saranno anche in grado di risolvere i problemi e semplificare i processi più facilmente. Il problema era nel modello o nella sua implementazione? È stata la scelta degli algoritmi o una carenza nel set di dati di addestramento?

Rischi del sentimento dei dipendenti

Quando le aziende creano sistemi di intelligenza artificiale che violano la privacy degli utenti, che sono prevenuti o che danneggiano la società, ciò cambia il modo in cui i dipendenti vedono tali sistemi. I dipendenti vogliono lavorare in aziende che condividono i loro valori, afferma Steve Mills, Chief AI Ethic Officer presso Boston Consulting Group. “Un numero elevato di dipendenti lascia il lavoro per motivi etici”, afferma. “Se volete attrarre talenti, dovete preoccuparvi di come affronterete questi problemi”.

Secondo un sondaggio pubblicato da Gartner all’inizio di quest’anno, l’atteggiamento dei dipendenti nei confronti del lavoro è cambiato dall’inizio della pandemia. Quasi i due terzi hanno ripensato al posto che il lavoro dovrebbe avere nella loro vita e più della metà ha affermato che la pandemia li ha spinti a mettere in discussione lo scopo del loro lavoro quotidiano e li ha spinti a voler contribuire di più alla società.

E, lo scorso autunno, uno studio di Blue Beyond Consulting e Future Workplace ha dimostrato l’importanza dei valori. Secondo il sondaggio, il 52% dei lavoratori lascerebbe il lavoro (e solo 1 su 4 ne accetterebbe uno) se i valori aziendali non fossero coerenti con i propri valori. Inoltre, il 76% ha affermato di aspettarsi che il proprio datore di lavoro sia una forza positiva nella società.

Anche se le aziende potrebbero avviare programmi di etica dell’IA per motivi normativi o per evitare cattiva pubblicità, man mano che questi programmi maturano le motivazioni cambiano. “Quello che stiamo iniziando a vedere è che forse le aziende non iniziano in questo modo, ma arrivano alla conclusione che si tratta di uno scopo e di una questione di valori”, conclude Mills. “Diventa una questione di responsabilità sociale. Un valore fondamentale dell’azienda”.