La Food and Drug Administration (FDA) degli Stati Uniti insieme con Health Canada e la Medicines and Healthcare Products Regulatory Agency (MHRA) del Regno Unito hanno identificato dieci principi guida che possono informare lo sviluppo di Good Machine Learning Practice. I dieci principi identificano le aree in cui l’International Medical Device Regulators Forum, le organizzazioni internazionali di standard e altri organismi di collaborazione potrebbero lavorare per far progredire la GMLP.

La competenza multidisciplinare è il primo dei principi invocati dagli enti. Coinvolgere professionalità differenti è importante per avere una comprensione approfondita dell’integrazione prevista di un modello nel flusso di lavoro clinico, dei benefici desiderati e i rischi associati per il paziente. Fondamentale è poi implementare buone pratiche di ingegneria del software e di sicurezza. Il design del modello deve fare attenzione ai “fondamentali”. Queste pratiche includono una gestione metodica del rischio, oltre a garantire l’autenticità e l’integrità dei dati.

Raccolta dati e design

Molta attenzione è prevista anche per la raccolta dei dati. I partecipanti allo studio clinico e i set devono essere rappresentativi della popolazione dei pazienti. I protocolli di raccolta dovrebbero infatti garantire che le caratteristiche rilevanti della popolazione di pazienti prevista (età, sesso, sesso, razza, etnia), l’uso e gli input di misurazione siano sufficientemente rappresentati in un campione di dimensioni adeguate nello studio clinico e nei set di dati di formazione e test.

Questo è importante per gestire eventuali distorsioni, promuovere prestazioni appropriate e generalizzabili nella popolazione di pazienti prevista.

Oltre alla separazione fra i set di dati di addestramento e i set di test le linee guida spiegano che le serie di dati di riferimento selezionate devono essere basate sui migliori metodi disponibili che assicurano come i dati siano clinicamente rilevanti e ben caratterizzati e che i limiti del riferimento siano compresi.

Il design del modello è adattato ai dati disponibili e riflette l’uso previsto del dispositivo. Supporta la mitigazione attiva dei rischi noti, come l’overfitting, il degrado delle prestazioni e i rischi per la sicurezza.

Oltre a indicare una cautela nel momento in cui il modello comprende un “essere umano nel ciclo” che interagisce con l’intelligenza artificiale, gli enti indicano che i test devono dimostrare le prestazioni del dispositivo in condizioni clinicamente rilevanti indipendentemente dal set di dati di formazione.

Attenzione agli utenti

Anche gli utenti sono compresi nelle indicazioni fornite dagli enti regolatori. A essi, infatti, deve essere fornito un accesso immediato a informazioni chiare e contestualmente rilevanti che sono appropriate per il pubblico previsto (come gli operatori sanitari o i pazienti) tra cui: l’uso previsto del prodotto e le indicazioni per l’uso, le prestazioni del modello per sottogruppi appropriati, le caratteristiche dei dati utilizzati per addestrare e testare il modello, gli input accettabili, i limiti noti, l’interpretazione dell’interfaccia utente e l’integrazione del flusso di lavoro clinico del modello.

I modelli distribuiti hanno la capacità di essere monitorati nell’uso del “mondo reale” con un focus sulla sicurezza e sulle prestazioni mantenute o migliorate. Inoltre, quando i modelli sono periodicamente o continuamente addestrati, dopo l’implementazione ci sono controlli appropriati in atto per gestire i rischi di overfitting, bias involontari, o degrado del modello.