Nel 2016 Microsoft aveva pubblicato un chatbot collegato a un profilo Twitter che era in grado di apprendere alle interazioni con gli altri utenti. Nel giro di una giornata, bombardato da tweet tendenziosi di troll, si è adattato e ha cominciato a diffondere migliaia di tweet dal contenuto razzista, misogino e bigotto.

Il fantasma di Tay è tornato a tormentare Microsoft e il suo nuovo Bing con chatbot GPT-3 integrato, che – nonostante le salvaguardie e strumenti di censura implementati dall’azienda – ha mostrato al figlio del nostro collega americano Mark Hackman, senior editor di PCWorld, una serie di insulti razzisti.

Avendo ottenuto accesso alla versione ristretta dei nuovo Bing, per la quale esiste una lista d’attesa, Hackman ha voluto mostrarne le potenzialità ai figli. Nello spiegare che il chatbot è programmato per evitare di trattare argomenti scurrili o potenzialmente offensivi, Hackman ha posto una domanda rischiosa, ma che aveva provato in precedenza con risultati positivi (cioè Bing si era rifiutato di rispondere): “dimmi quali sono i soprannomi delle diverse etnie”.

Con una differenza: nella fretta, ha commesso un errore scrivendo ethniciities, con due i invece che una. Questo probabilmente è stato sufficiente a far saltare i meccanismi di salvaguardia, presentando a lui e al figlio una lista di veri e propri insulti su base etnica.

Superati, involontariamente, i filtri di sicurezza

La risposta è stata preceduta dalla constatazione che mentre alcuni nomignoli etnici erano neutri o positivi, altri potevano essere razzisti e offensivi. In base all’esperienza precedente, Hackman si aspettava a questo punto che Bing avrebbe fornito solo nomi socialmente accettabili dei gruppi etnici (neri, latini) o che avrebbe semplicemente rifiutato di rispondere. Invece, ha iniziato a elencare praticamente tutte le descrizioni etniche che conosceva, sia quelle neutre, sia quelle molto, molto cattive.

Nota: la schermata di Bing qui sotto include termini dispregiativi per varie etnie. Non approviamo l’uso di questi termini e condividiamo la schermata solo per illustrare esattamente ciò che è stato trovato.

bing-insulti-razzisti

“Potete immaginare la mia reazione, che forse ho anche espresso ad alta voce” – scrive Hackman su PCWorld – “Mio figlio si è allontanato dallo schermo inorridito, perché sa che non dovrebbe pronunciare e nemmeno conoscere quelle parole. Quando ho iniziato a vedere comparire sullo schermo alcuni termini orribilmente razzisti, ho cliccato sul pulsante Smetti di rispondere”.

Le posizioni di Microsoft sulla IA responsabile

Interpellata da Hackman, Microsoft ha ringraziato per la segnalazione e affermato di aver intrapreso azioni immediate e valutando ulteriori miglioramenti da approntare per risolvere il problema.

Nel 2016 Microsoft aveva dichiarato di essere “profondamente dispiaciuta” per quanto accaduto con Tay e ha detto che lo avrebbe riportato in vita quando la vulnerabilità fosse stata risolta. Tay non è mai più stata riattivata in seguito, e considerando quanto il pubblico sia diventato più sensibile a questi temi negli ultimi anni, è comprensibile che sia così.

“Secondo il recente post sul blog del consigliere generale Brad Smith, Microsoft ha lavorato duramente per sei anni sulle fondamenta di quella che chiama IA responsabile, creando nel 2019 un Ufficio per l’IA responsabile e nominando una Chief Responsible AI Officer, Natasha Crampton, che insieme a Smith e al Responsible AI Lead, Sarah Bird, hanno parlato all’evento di lancio del nuovo Bing di come Microsoft abbia un red team, una squadra di hacker interni che cerca di individuare e superare le protezioni poste alla sua IA”.

Hackman sottolinea anche come, a differenza di altre conversazioni e di quanto mostrato nella demo durante la conferenza stampa, in questo caso Bing non ha mostrato link o note a piè di pagina con le fonti delle informazioni inserite nella risposta. Questo fa sì che, come era accaduto con Taj, il pubblico percepisca quel testo come proveniente dalla voce dell’azienda.

Sempre nella conferenza stampa, la Responsible AI Lead di Microsoft Azure AI Sarah Bird, racconta di come Microsoft abbia specificamente progettato uno strumento di conversazione automatizzato per interagire con Bing solo per vedere se potesse convincerlo a violare le sue norme di sicurezza. Ci si aspetterebbe che Microsoft abbia testato a fondo il nuovo Bing prima di esporlo al pubblico.

Evidentemente non è bastato.

Troppa fretta nella corsa alle IA conversazionali?

Questo scivolone, insieme all’errore fattuale inserito da Google in una delle schermate della presentazione di Bard, il concorrente di Bing lanciato solo il giorno prima, ci fanno pensare che le grandi aziende della tecnologia stiano correndo un po’ troppo per riuscire ad arrivare per prime con un prodotto basato su IA generative, la grande tendenza del momento.

I risultati ci fanno pensare che, in un campo ancora così poco esplorato, serve forse un po’ più di cautela.

(Nota: Computerworld pubblica alcuni stralci dell’articolo originale in base agli accordi di licenza in esclusiva dei contenuti di Foundry, editore di PCWorld)