AirBnB vuole sapere se avete una personalità “machiavellica” prima di affittarvi una casa al mare. La società potrebbe utilizzare dei software per stabilire se siete abbastanza affidabili in base a ciò che pubblicate su Facebook, Twitter e Instagram.

I sistemi AirBnB analizzeranno i social, eseguiranno i loro algoritmi e produrranno risultati. Per le persone all’altra estremità di questo processo non ci sarà trasparenza – nessuna conoscenza di sorta – e nessuna possibilità di replica.

La società possiede il brevetto di una tecnologia progettata per valutare le “personalità” dei potenziali ospiti analizzando le loro attività sui social media. Il prodotto finale di questa tecnologia è un “punteggio di affidabilità” che viene assegnato a ogni cliente ospite di AirBnB.

Secondo quanto riportato, l’analisi si baserà non solo sulle attività sui social media, ma anche su altri dati reperibili online, inclusi post di blog e documenti legali. La tecnologia è stata sviluppata da Trooly, che AirBnB ha acquisito tre anni fa. Trooly ha creato uno strumento basato sull’intelligenza artificiale progettato per “prevedere relazioni e interazioni affidabili”.

Il software costruisce il punteggio in base ai “tratti della personalità” identificati dal sistema, includendone alcuni facilmente prevedibili – socievolezza, estroversione, simpatia – e altri strani – “narcisismo” e “machiavellismo”, per esempio. (È interessante notare che il software cerca anche l’eventuale coinvolgimento dell’utente in contenziosi civili, il che suggerisce che AirBnB potrebbe, ora o in futuro, bandire le persone in base alla previsione che potrebbero avere maggiori probabilità di fare causa).

AirBnB non ha dichiarato esplicitamente se usa il software o meno.

Analisi dei social media: una pratica diffusa

Se siete sorpresi, scioccati o infastiditi da questa notizia, non siete soli: la maggior parte delle persone non è consapevole della pratica sempre più diffusa di giudicare utenti, clienti, cittadini, dipendenti e studenti utilizzando l’intelligenza artificiale applicata alla loro attività sui social media.

AirBnB non è l’unica azienda che analizza i social media per valutare la personalità o prevedere il comportamento. Nel numero ci sono datori di lavoro, dipartimenti di polizia, compagnie assicurative, la CIA e il Dipartimento per la sicurezza nazionale degli Stati Uniti, per fare qualche esempio.

Secondo alcune stime, negli Stati Uniti metà dei responsabili delle ammissioni ai college utilizza strumenti di monitoraggio dei social basati sull’AI come parte del processo di selezione dei candidati.

Anche i dipartimenti risorse umane e i responsabili delle assunzioni utilizzano sempre più il monitoraggio sociale dell’AI prima di scegliere un candidato.

Le agenzie governative statunitensi, in particolare quelle dove il personale necessita di autorizzazioni di sicurezza, si appoggiano al monitoraggio dei social media per verificare la presenza di dipendenti inaffidabili.

Il monitoraggio dei social media basato sull’AI è un carrozzone su cui stanno saltando aziende e società di ogni tipo.

C’è solo un problema: il monitoraggio dei social media basato sull’intelligenza artificiale non è così intelligente.

L’intelligenza artificiale coglie l’ironia?

Varie aziende hanno flirtato con il monitoraggio dei social media. Ma i recenti strumenti basati sull’intelligenza artificiale hanno creato un settore e nuovi profili professionali.

Questi strumenti sono alla ricerca di tratti della personalità come intelligenza, affidabilità sociale, responsabilità finanziaria e comportamenti come rispetto della legge e senso di responsabilità.

La domanda non è se l’AI applicata alle raccolte di dati funzioni. Lo fa sicuramente. La domanda è se i social rivelano la verità sugli utenti. Sto mettendo in dubbio la qualità dei dati.

Per esempio, la scansione dell’account Instagram di qualcuno potrebbe “rivelare” che è favolosamente ricco e viaggia per il mondo gustando champagne e caviale. La verità potrebbe essere che è al verde, stressato e si atteggia a “influencer” che baratta l’esposizione social per camere d’albergo e cene in ristoranti dove scatta foto ben ritoccate esclusivamente per costruirsi una reputazione. Alcune persone usano i social per creare deliberatamente un’immagine falsa di se stessi.

Un account Twitter può mostrare un utente come una persona intelligente, costruttiva e produttiva, ma in un secondo account anonimo (sconosciuto ai sistemi di monitoraggio) la stessa persona potrebbe rivelarsi un troll sociopatico che vuole solo guardare il mondo bruciare. Le persone hanno più account social media, in cui manifestano diversi aspetti della loro personalità. E possono essere anonimi.

E l’account Facebook di un utente può essere caratterizzato da un senso dell’umorismo irriverente, pieno di volgarità ed esagerazioni. Gli strumenti di monitoraggio possono concludere che si tratta di una persona inaffidabile, quando in realtà il problema è che le macchine non hanno senso dell’umorismo o dell’ironia. E i creatori degli stessi strumenti di intelligenza artificiale potrebbero non avere una reale comprensione della personalità.

Per esempio, l’uso di volgarità online può ridurre il punteggio di affidabilità di una persona, in base al presupposto che un linguaggio volgare indica una mancanza di etica o moralità. Ma ricerche recenti suggeriscono il contrario: le persone con una linguaggio banale possono essere in media più affidabili, oltre che più intelligenti, più oneste e più capaci, a livello professionale.

Confidiamo che le società di software della Silicon Valley conoscano o si preoccupino delle sottigliezze e delle complessità della personalità umana?

E infine, alcune persone sono utenti ossessivi di molti siti di social media. Altre persone non usano mai i social media. La maggior parte si colloca nel mezzo.

C’è anche un gap generazionale. I giovani hanno statisticamente meno probabilità di pubblicare post pubblici, preferendo la messaggistica privata e l’interazione in piccoli gruppi social. Il monitoraggio dei social media basato sull’intelligenza artificiale è fondamentalmente discriminatorio verso i più “vecchi”?

Le donne hanno maggiori probabilità rispetto agli uomini di pubblicare informazioni personali sui social media, mentre gli uomini hanno maggiori probabilità rispetto alle donne di pubblicare informazioni impersonali. Pubblicare informazioni su questioni personali può rivelarsi un fattore più indicativo della personalità. Il monitoraggio dei social media basato sull’intelligenza artificiale è fondamentalmente sessista?

Qualcuno si sta ponendo queste domande prima di lanciarsi a capofitto in questo nuovo modello di sorveglianza iper-consequenziale?

Un problema in cerca di soluzione

Aziende come AirBnB stanno cercando di risolvere un problema reale. Nel caso di AirBnB, la società offre essenzialmente un servizio di abbinamento in cui il “prodotto” per un utente è …. un altro utente. Ed è una questione di garanzia di qualità. Come minimizzano il potenziale danno di un utente verso un altro utente?

E’ necessaria una precisazione: negli ultimi 40 anni, l’industria tecnologica ha sempre enfatizzato la soluzione magica del momento. Oggi, sembra che sia l’AI. Quello che temo è che aziende come AirBnB abbiano un problema e concludano che l’AI lo può magicamente risolvere.

I sistemi analizzano i social, eseguono gli algoritmi e producono risultati. Saranno loro a decretare chi non ammettere al college, chi non assumere, a chi togliere l’autorizzazione di sicurezza e chi bandire da AirBnB.

L‘intelligenza artificiale avrà respinto le persone giuste? Chi lo saprà mai?

Alcune persone ritenute “affidabili” dall’intelligenza artificiale avranno manipolato in qualche modo il sistema? Chi lo saprà mai?

Se cercate informazioni su Internet sul monitoraggio dei social media, troverete molti consigli per “gestire ciò che pubblicate online”. Sembrano consigli ragionevoli, fino a quando non pensate davvero a cosa implicano. Fondamentalmente vi stanno dicendo che se siete qualcuno che dovrebbe davvero essere licenziato, non assunto o rifiutato da una scuola in base alla vostra attività sui social media, dovete essere astuti e simulare o falsare la vostra attività sui social media, in modo da “apparire” affidabili.

Man mano che la conoscenza della portata del monitoraggio dei social media si diffonde, la pratica di limitare se stessi sui siti di social diventerà un luogo, e ognuno potrà fornire dati falsi in modo che le macchine lo giudichino affidabile.

Permettetemi di dirlo in modo più chiaro. Molti tipi di società – dalle agenzie governative alle aziende a tutte le compagnie tecnologiche della Silicon Valley – stanno saltando sul carrozzone del monitoraggio dei social media basato sull’intelligenza artificiale. Decine di aziende stanno emergendo per specializzarsi in questi strumenti. La pratica si sta diffondendo.

E quando il pubblico lo capirà, la risposta sarà inevitabilmente quella di cambiare il comportamento sui social media, premere i pulsanti giusti per mantenere alto il proprio “punteggio di affidabilità”, per hackerare il sistema – rendendo così il tutto inutile e obsoleto.

È tempo di iniziare a preoccuparsi del monitoraggio basato sull’intelligenza artificiale

C’è qualcosa che si può intuire sulla scansione dei social network, anche senza l’AI. Il pubblico appassionato di tecnologia è generalmente cauto e sdegnoso riguardo alle pratiche del “capitalismo di sorveglianza” quali la raccolta di dati personali, il monitoraggio delle attività sul web e la pratica molto diffusa di analizzare i database dei contatti di vari siti e app, che utilizza gli utenti per ottenere l’accesso alle informazioni personali di tutti coloro che conoscono a loro insaputa e senza il loro permesso.

Tutti ne parlano. A nessuno sembra piacere. Ma l’effettivo “danno” materiale di questo tipo di monitoraggio quotidiano è difficile da identificare, nonostante le ricadute siano enormi: perdita del lavoro, rifiuto da una scuola, tassi assicurativi più elevati e non poter affittare una casa al mare su AirBnB.

Non voglio dare suggerimenti agli “inaffidabili” su come bypassare il sistema e ingannare le macchine. Voglio solo dirvi che il sistema può essere ingannato. E che quel monitoraggio dei social media basato sull’intelligenza artificiale per determinare il grado di “affidabilità” è di per sé…inaffidabile.