API real time per sviluppare assistenti vocali e fine tuning presentati all’OpenAI DevDay

Al DevDay di San Francisco, l’evento annuale dedicato agli sviluppatori, OpenAI ha annunciato quattro novità relative alla piattaforma API.

Le nuove feature presentate sono:

• API in tempo reale: una nuova API che consente agli sviluppatori di creare esperienze multimodali a bassa latenza nelle loro applicazioni. Simile all’Advanced Voice Mode di ChatGPT, la API in tempo reale supporta conversazioni naturali speech-to-speech utilizzando le sei voci preimpostate, già supportate dall’API
• Model Distillation e memorizzazione veloce: due nuove funzionalità che aiutano gli sviluppatori a bilanciare prestazioni, costi e latenza nella creazione e scalabilità di applicazioni IA. Model Distillation offre agli sviluppatori un flusso di lavoro integrato per migliorare modelli in termini di efficienza e grandezza, come GPT-4o mini, utilizzando output derivanti da modelli più avanzati come GPT-4o o l’anteprima di o1. Memorizzazione veloce assicura agli sviluppatori una velocità di processazione prompting ridotta del 50% attraverso il riutilizzo dei token di input recentemente visualizzati
• Fine-tuning per immagini: consente agli sviluppatori di mettere a punto GPT-4o sia con immagini sia con testo. Grazie al Fine-tuning GPT-4o con le immagini, gli sviluppatori potranno personalizzare i modelli in modo da avere maggiore capacità di comprensione delle immagini, il che consente di realizzare applicazioni che abbiano una migliore funzionalità di ricerca visiva, un migliore rilevamento degli oggetti per veicoli autonomi o smart city e un’analisi più accurata delle immagini mediche

Inoltre, la scorsa settimana OpenAI ha annunciato un nuovo modello di moderazione (omni-moderation-latest) nell’API di moderazione. Basata su GPT-4o, la nuova versione supporta input sia di testo sia di immagini ed è più accurata del precedente, soprattutto perché è compatibile con altre lingue oltre all’inglese. Inoltre, è in grado di rilevare i contenuti dannosi in due nuove categorie e il suo uso è gratuito per gli sviluppatori, con limiti tariffari a seconda del livello di utilizzo.