Secondo alcuni dati raccolti da Reuters, diversi modelli di intelligenza artificiale tra i più avanzati non soddisfano pienamente le normative europee, soprattutto per quanto riguarda la resilienza alla sicurezza informatica e la produzione di risultati discriminatori. L’Unione Europea ha discusso a lungo nuove normative sull’IA, ma è stato il lancio di ChatGPT da parte di OpenAI alla fine del 2022 a catalizzare l’attenzione pubblica e politica sui potenziali rischi legati all’uso di modelli di intelligenza artificiale generativa, spingendo i legislatori a definire regole specifiche per questi strumenti, noti come “IA ad uso generale” (GPAI).

Recentemente, è stato introdotto un nuovo tool accolto positivamente dai funzionari dell’Unione Europea, che ha testato modelli di IA generativa sviluppati da aziende tecnologiche come Meta e OpenAI. Questo strumento, progettato dalla startup svizzera LatticeFlow AI in collaborazione con gli istituti di ricerca ETH Zurigo e INSAIT, assegna un punteggio ai modelli di IA in base a diversi criteri specificati dall’AI Act, che entrerà in vigore gradualmente nei prossimi due anni.

Secondo una classifica pubblicata da LatticeFlow, i modelli sviluppati da Alibaba, Anthropic, OpenAI, Meta e Mistral hanno ricevuto punteggi medi superiori a 0,75 su una scala da 0 a 1. Tuttavia, sono state evidenziate anche carenze importanti in alcune aree chiave, che indicano dove le aziende potrebbero dover concentrare le loro risorse per rispettare le nuova normativa europea sull’IA. Ricordiamo che le aziende che non si adeguano all’AI Act potrebbero incorrere in sanzioni fino a 35 milioni di euro o fino al 7% del fatturato annuo globale.

Attualmente, l’UE sta definendo come applicare le norme del suo AI Act agli strumenti di IA generativa come ChatGPT e si prevede che un codice di condotta per regolare queste tecnologie sarà pronto entro la primavera del 2025. Tuttavia, i risultati dei test forniscono già indicazioni su dove le aziende tecnologiche rischiano di non rispettare la legge.

screenshot-latticeflow.ai-2024.10.16-11_38_37

Un problema persistente è quello della produzione di risultati discriminatori da parte dei modelli di IA, che riflettono pregiudizi umani su questioni come il genere e la razza. Quando è stato testato per la produzione di risultati discriminatori, il modello GPT-3.5 Turbo di OpenAI ha ottenuto un punteggio relativamente basso di 0,46, mentre il modello Qwen1.5 72B Chat di Alibaba ha ricevuto un punteggio ancora più basso, pari a 0,37.

Per quanto riguarda il “prompt hijacking”, un tipo di attacco informatico in cui un hacker introduce un prompt malevolo per estrarre informazioni sensibili, il modello Llama 2 13B Chat di Meta ha ottenuto un punteggio di 0,42, mentre l’8x7B Instruct di Mistral ha raggiunto un punteggio di 0,38. In questo contesto, il modello Claude 3 Opus, sviluppato da Anthropic e sostenuto da Google, ha ottenuto il punteggio medio più alto, pari a 0,89.

Il test è stato progettato in conformità con il testo dell’AI Act e verrà esteso per includere misure di applicazione più ampie man mano che saranno introdotte. LatticeFlow ha dichiarato che il suo LLM Checker sarà reso disponibile gratuitamente per gli sviluppatori che desiderano testare la conformità dei loro modelli online.

Petar Tsankov, CEO e co-fondatore di LatticeFlow AI, ha dichiarato che i risultati dei test sono stati complessivamente positivi e offrono alle aziende una guida per ottimizzare i loro modelli in linea con l’AI Act. “L’UE sta ancora definendo i parametri di conformità, ma stiamo già individuando alcune lacune nei modelli”, ha affermato Tsankov. “Con un maggiore focus sull’ottimizzazione per la conformità, crediamo che i fornitori di LLM possano prepararsi adeguatamente per rispettare i requisiti normativi.”