I modelli di machine learning sono spesso tutt’altro che perfetti. Quando si utilizzano le previsioni del modello per scopi che influiscono sulla vita delle persone, come ad esempio la classificazione dell’approvazione di un prestito, è consigliabile che un essere umano riveda almeno alcune delle previsioni.

Inoltre, la mancanza di buoni dati taggati spesso rende difficile implementare il supervised learning in cui una persona in carne e ossa funge appunto da “supervisore”. Un modo per implementare l’apprendimento semi-supervisionato da dati non contrassegnati è fare in modo che gli esseri umani tagghino alcuni dati per creare un modello, applichino le previsioni ad alta affidabilità di un modello provvisorio (o un modello di trasferimento di apprendimento) per contrassegnare più dati (auto-labeling) e inviare previsioni a bassa confidenza per la revisione umana (active learning). Questo processo può essere ripetuto e in pratica tende a migliorare di passaggio in passaggio.

In poche parole, il machine learning human-in-the-loop si basa sul feedback umano per migliorare la qualità dei dati utilizzati per addestrare i modelli di machine learning. In generale, un processo di machine learning human-in-the-loop implica il campionamento di dati validi che gli esseri umani possono etichettare, l’utilizzo di tali dati per addestrare un modello e l’utilizzo di quel modello per campionare più dati per l’etichettatura. Sono disponibili numerosi servizi per gestire questo processo.

Amazon SageMaker Ground Truth

Amazon SageMaker fornisce due servizi di etichettatura dei dati: Amazon SageMaker Ground Truth Plus e Amazon SageMaker Ground Truth. Entrambe le opzioni consentono di identificare i dati grezzi, come immagini, file di testo e video, e di aggiungere etichette informative per creare set di dati di addestramento di alta qualità per i vostri modelli di machine learning. In Ground Truth Plus, gli esperti Amazon impostano i flussi di lavoro di etichettatura dei dati al posto vostro e il processo applica il pre-apprendimento e la convalida automatica dell’etichettatura umana.

Amazon Augmented AI

Mentre Amazon SageMaker Ground Truth gestisce l’etichettatura iniziale dei dati, Amazon Augmented AI (Amazon A2I) fornisce la revisione umana di previsioni a bassa affidabilità o campioni di previsioni casuali dai modelli distribuiti. Augmented AI gestisce sia la creazione del flusso di lavoro di revisione, sia i revisori umani. Si integra con AWS AI e servizi di machine learning oltre ai modelli distribuiti su un endpoint Amazon SageMaker.

DataRobot human-in-the-loop

DataRobot ha una funzione di Humble AI che consente di impostare regole per rilevare previsioni incerte, input periferici e regioni a bassa osservazione. Queste regole possono innescare tre possibili azioni: nessuna operazione (solo monitoraggio), sovrascrivere la previsione (in genere con un valore “sicuro”), o restituire un errore (scartare la previsione).

Computer Vision Annotation Tool

Computer Vision Annotation Tool

Google Cloud Human-in-the-Loop

Google Cloud offre l’elaborazione Human-in-the-Loop (HITL) integrata con il suo servizio Document AI, ma al momento di scrivere non c’è nulla per l’elaborazione di immagini o video. Attualmente, Google supporta il flusso di lavoro di revisione HITL per i seguenti processori:

Procurement processors

Invoices
Receipts

Lending processors

1003 Parser
1040 Parser
1040 Schedule C Parser
1040 Schedule E Parser
1099-DIV Parser
1099-G Parser
1099-INT Parser
1099-MISC Parser
Bank Statement Parser
HOA Statement Parser
Mortgage Statement Parser
Pay Slip Parser
Retirement/Investment Statement Parser
W2 Parser
W9 Parser

Software human-in-the-loop

L’annotazione di immagini umane, come la classificazione delle immagini, il rilevamento di oggetti e la segmentazione semantica, può essere difficile da configurare per l’etichettatura dei set di dati. Fortunatamente, ci sono molti validi strumenti open source e commerciali che i tagger possono utilizzare.

Humans in the Loop, un’azienda che si descrive come “un’impresa sociale che fornisce soluzioni etiche per la forza lavoro human-in-the-loop per potenziare il settore dell’intelligenza artificiale”, scrive periodicamente sui suoi strumenti di annotazione preferiti. Nell’ultimo di questi post sono ripportati 10 strumenti di annotazione open source per la visione artificiale: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator e DataTurks. Questi strumenti vengono utilizzati principalmente per l’annotazione del set di formazione iniziale e alcuni possono gestire team di tagger.

Uno di questi strumenti di annotazione (il Computer Vision Annotation Tool o CVAT) “ha caratteristiche e funzionalità molto potenti e aggiornate e funziona in Chrome. È ancora uno degli strumenti principali che noi e i nostri clienti utilizziamo per l’etichettatura, dato che è molto più veloce di molti degli strumenti disponibili sul mercato”.

Nel CVAT README su GitHub si legge: “CVAT è uno strumento di annotazione di immagini e video gratuito, online e interattivo per la visione artificiale. Viene utilizzato dal nostro team per annotare milioni di oggetti con proprietà diverse. Molte decisioni relative all’interfaccia utente e all’esperienza utente si basano sul feedback dei team di annotazione dei dati professionali”.

Come abbiamo visto, l’elaborazione human-in-the-loop può contribuire al processo di machine learning in due passaggi: la creazione iniziale di set di dati contrassegnati per l’apprendimento supervisionato e la revisione e la correzione di previsioni potenzialmente problematiche durante l’esecuzione del modello. Il primo caso d’uso aiuta a eseguire il bootstrap del modello, mentre il secondo aiuta a ottimizzare il modello.