Indice dell'articolo

L’intelligenza artificiale e le capacità di machine learning rappresentano un’enorme opportunità per la trasformazione digitale, ma aprono un’altra superficie di minaccia che i CISO devono tenere assolutamente sotto controllo, indirizzando i loro team a condurre esercitazioni red team contro i modelli di IA e le applicazioni abilitate all’IA, proprio come fanno i team di sicurezza con qualsiasi applicazione, piattaforma o sistema IT tradizionale. L’intelligenza artificiale infatti alimenta sempre più i processi decisionali aziendali, le previsioni finanziarie, la manutenzione predittiva e un elenco infinito di altre funzioni aziendali, inserendosi in modo inestricabile nello stack tecnologico aziendale.

È qui che entra in gioco il “red teaming” dell’IA. Gli esperti di sicurezza più lungimiranti ritengono che il campo della gestione del rischio dell’IA sarà un settore in crescita per i CISO e i leader della cybersecurity che dovranno occuparsene nei prossimi anni. Fondamentale per la gestione dei rischi dell’IA saranno la modellazione delle minacce e la verifica dei punti deboli nelle implementazioni dell’IA.

Cos’è un red team per l’IA?

I red team per l’IA proteggono i sistemi di intelligenza artificiale attraverso esercitazioni, modelli di minacce ed esercizi di valutazione del rischio. “Dovreste fare red-teaming dei vostri modelli di machine learning. Dovreste eseguire almeno gli attacchi all’integrità e alla riservatezza sui vostri sistemi di machine learning per vedere se sono possibili” spiega Patrick Hall, data scientist ed esperto di rischi dell’IA.

Tutto ciò potrebbe sembrare semplice, ma le modalità con cui svolgere le esercitazioni red team per l’IA sono molto meno chiare. Recenti report mostrano che giganti tecnologici come Facebook e Microsoft hanno creato dei red team per l’IA per esplorare i rischi legati al loro ambiente di minacce all’IA. Inoltre, le società di consulenza in materia di sicurezza e rischi riferiscono che stanno lavorando con alcuni clienti per comprendere i rischi legati all’intelligenza artificiale. BNH.AI, uno studio legale co-fondato da Hall, negli ultimi tempi si è impegnato con aziende vicine alla difesa per esplorare i punti deboli delle loro capacità di risposta agli incidenti legati all’IA.

Ma si tratta ancora per lo più di casi ristretti; esistono infatti pochissime best practice standardizzate del settore che definiscono l’ambito di un red team ideale per l’IA. Ad esempio, il framework MITRE ATLAS si concentra sulla ricerca in materia di sicurezza dell’IA avversaria. E da parte sua, Hall ha previsto un capitolo sui red team per il machine learning in un suo libro di prossima pubblicazione. Tuttavia, questi aspetti non sono ancora stati cristallizzati in un quadro di riferimento che descriva nel dettaglio come un’organizzazione dovrebbe testare in modo sistematico e sostenibile i modelli di IA o le applicazioni basate sull’IA.

Di conseguenza, la definizione di queste pratiche è ancora un work in progress. Per alcuni, potrebbe significare attaccare regolarmente i modelli di IA. Per altri, invece, potrebbe significare semplicemente documentare tutte le dimensioni del rischio che le attuali implementazioni di IA o ML potrebbero comportare.

I rischi che potrebbero portare ai red team AI

L’elenco dei rischi noti dell’IA è ancora in crescita, ma gli esperti di sicurezza hanno già identificato potenziali scenari di attacco o malfunzionamento che potrebbero far agire l’IA in modo imprevedibile o presentare risultati errati. Allo stesso modo, stanno emergendo rischi legati all’IA che, a causa di violazioni, potrebbero esporre enormi quantità di informazioni di identificazione personale o preziose proprietà intellettuali.

“Molti dei problemi che causano rischi legati all’IA non sono affatto dolosi” afferma Diana Kelley, CSO di Cybrize e analista e professionista di lungo corso nel campo della sicurezza. “Si tratta di errori di progettazione e di dati che non sono stati puliti o analizzati correttamente. Oggi si verificano molti di questi errori di progettazione non intenzionali”. Che siano causati intenzionalmente o meno, questi rischi legati all’IA minacciano tutti e tre gli aspetti della classica triade della sicurezza della CIA: riservatezza, integrità e sicurezza.

“Ci sono sfide di sicurezza uniche associate ai sistemi di intelligenza artificiale che richiedono un’attenzione specifica” afferma Chris Anley, scienziato capo della società di consulenza sulla sicurezza NCC Group che si è sempre più concentrato sulla ricerca dei tipi di rischi legati all’intelligenza artificiale che spingeranno i CISO ad avviare esercitazioni red team per questi sistemi. “Gli attacchi alla privacy come l’inferenza di appartenenza, l’inversione del modello e l’estrazione dei dati di addestramento possono consentire agli aggressori di rubare i dati di addestramento sensibili dal sistema in esecuzione, mentre gli attacchi di furto del modello possono consentire a un aggressore di ottenere una copia di un modello proprietario sensibile”.

trend tecnologici

E questo è solo l’inizio, dice Anley. Approfondendo i contenuti dei modelli di IA e l’infrastruttura che li supporta, i team di sicurezza scopriranno probabilmente una serie di altri problemi. Ad esempio, l’uso dei sistemi di IA può esporre i dati sensibili di un’organizzazione a fornitori terzi. Inoltre, i modelli possono contenere codice eseguibile, il che può comportare problemi di sicurezza nella supply chain e nella creazione di applicazioni. Anche l’addestramento distribuito dei sistemi di intelligenza artificiale può porre problemi di sicurezza.

“I dati di addestramento possono essere manipolati per creare backdoor e gli stessi sistemi risultanti possono essere soggetti a manipolazione diretta, mentre classificazioni errate possono far sì che il sistema produca risultati imprecisi e persino pericolosi”, continua Anley. Inoltre, la cultura della scienza dei dati che guida lo sviluppo dell’IA si basa sulla collaborazione e sulla condivisione dei dati, oltre che su un rapido ritmo di cambiamento dell’infrastruttura e delle applicazioni; tutto ciò potrebbe essere una ricetta ideale per le violazioni. Negli audit di sicurezza che NCC ha eseguito per le aziende clienti, Anley afferma che le minacce all’IA si concentrano in genere sulle nuove infrastrutture legate all’IA.

“Si tratta di elementi come i servizi di formazione e distribuzione e un’ampia gamma di sistemi di archiviazione e interrogazione dei dati”, afferma Anley. “Vediamo continuamente notebook non protetti, che di fatto offrono a un utente malintenzionato la possibilità di eseguire codice da remoto su un server con estrema facilità. Questa nuova superficie di attacco deve essere protetta, il che può essere difficile quando un grande team di sviluppatori e data scientist deve accedere a questa infrastruttura da remoto per svolgere il proprio lavoro”.

In definitiva, molte delle maggiori preoccupazioni riguardano i dati e Anley ritiene che i team di sicurezza non riusciranno a scoprire i problemi di sicurezza dei dati legati all’IA. “I dati sono il cuore dell’IA e spesso sono dati sensibili: finanziari, personali o comunque protetti da normative. Il provisioning sicuro di grandi patrimoni di dati è una sfida e il red teaming è fondamentale per scoprire dove sono le vere lacune di sicurezza sia nei sistemi, sia nell’organizzazione”, afferma Anley.

Quando i CISO dovrebbero prendere in considerazione i red team per l’IA?

È chiaro insomma che i rischi dell’IA stanno aumentando. Secondo molti esperti, questo dovrebbe essere un segnale d’allarme per i CISO, che dovrebbero prestare attenzione e iniziare a preparare un percorso per i red team per l’IA, soprattutto se un’azienda è all’avanguardia nell’uso dell’intelligenza artificiale. “Se state ancora costruendo le vostre capacità di IA e queste non sono ancora una parte importante della vostra attività, forse un red team per l’IA non è la cosa più importante”, afferma Hall. “Ma se state utilizzando l’IA per un serio supporto decisionale o per funzioni decisionali automatizzate, allora sì, dovete fare red-teaming”.

Ma il rischio legato all’IA è solo uno dei tanti che si contendono l’attenzione e le risorse limitate dei CISO. Sarà quindi naturale per loro chiedersi se il red team dell’IA sia realistico nel breve termine e, soprattutto, se sia degno di investimento man mano che l’utilizzo dell’IA progredisce. E può darsi che i team di sicurezza abbiano questioni più importanti e urgenti da affrontare.

“È importante notare che gli Stati nazionali e gli attori delle minacce cercheranno sempre il modo più semplice per entrare in un sistema utilizzando gli strumenti più economici con cui si trovano a proprio agio. In altre parole, la minima resistenza con il massimo impatto” afferma Matthew Eidelberg, engineering fellow per la gestione delle minacce presso Optiv che ha svolto esercitazioni red team che “coprono l’intera superficie di attacco e quasi sempre trovano vie d’accesso più semplici rispetto all’hacking dell’IA”.

Per eseguire correttamente le esercitazioni red team per l’IA, sono necessari un team interdisciplinare di esperti di sicurezza, IA e scienza dei dati, una migliore visibilità dei modelli di IA utilizzati dall’azienda anche all’interno di software di terze parti, una modellazione delle minacce dell’implementazione dell’IA e un modo per documentare e pianificare i miglioramenti della sicurezza in base ai risultati del red team. Ci vorranno inoltre investimenti significativi e i CISO dovranno bilanciare l’hype nei confronti di questo nuovo campo tecnologico con la realtà dei fatti, ovvero capire se i red team per l’IA varranno il loro ROI in base alla posizione di rischio a breve termine derivante dall’IA già distribuita o dalle implementazioni di IA pianificate.

Tuttavia, proprio come nel caso delle nuove superfici di attacco emerse nel corso dei decenni (pensiamo solo al cloud o alle app mobile), il settore dell’IA dovrebbe rientrare sicuramente nel radar dei CISO, afferma J.R. Cunningham, CSO di Nuspire. Cunningham ritiene che i leader più intelligenti non debbano cercare di investire tutto o niente, ma piuttosto iniziare a sviluppare gradualmente la capacità di testare i propri sistemi.

“Non credo che si tratti di un momento in cui le organizzazioni aumenteranno la capacità una volta che l’IA avrà raggiunto una certa massa critica, ma piuttosto di un’estensione della capacità di sicurezza offensiva esistente che col tempo diventerà più completa e capace. Detto questo, il primo grande attacco pubblico contro l’IA attirerà l’attenzione sull’argomento nello stesso modo in cui le grandi violazioni delle carte di credito all’inizio dello scorso decennio hanno spinto a investire nella segmentazione della rete e nella protezione dei dati”, continua Cunningham.

Anche se i CISO non iniziano con le esercitazioni vere e proprie, possono almeno cominciare con alcuni passi incrementali, a partire dalla modellazione delle minacce. Questo aiuterà a capire cosa è più probabile che si rompa o venga rotto, dice Kelley. “L’aspetto fondamentale è far sì che le persone del vostro team siano istruite sull’IA e sul ML e su ciò che può andare storto; in un secondo tempo possono iniziare a creare modelli di minacce per i sistemi che state pensando di introdurre. Devono capire i rischi e i fallimenti della sicurezza dell’intelligenza artificiale e del machine learning nello stesso modo in cui capirebbero i rischi e i fallimenti in altri ambiti della sicurezza”, conclude Kelley.