OpenAI sovvenziona ricerche indipendenti per un’IA sicura e “superallineata”
“Riteniamo che la superintelligenza possa arrivare entro i prossimi 10 anni. Questi sistemi di intelligenza artificiale avranno capacità elevatissime e potrebbero essere estremamente vantaggiosi, ma anche potenzialmente comportare grandi rischi”. Inizia così il comunicato stampa di OpenAI per annunciare la sovvenzione di ricerche indipendenti per un’IA sicura e “superallineata”. “Oggi allineiamo i sistemi di IA per garantire la loro sicurezza utilizzando l’apprendimento rinforzato dal feedback umano (RLHF). Tuttavia, l’allineamento dei futuri sistemi di IA sovrumani porrà sfide tecniche fondamentalmente nuove e qualitativamente diverse”.
I sistemi di intelligenza artificiale superumani saranno capaci di comportamenti complessi e creativi che gli esseri umani non potranno comprendere appieno. Ad esempio, se un modello sovrumano genera un milione di righe di codice estremamente complicato, gli esseri umani non saranno in grado di valutare in modo affidabile se il codice è sicuro o pericoloso da eseguire. Le tecniche di allineamento esistenti, come RLHF, che si basano sulla supervisione umana, potrebbero non essere più sufficienti e ciò comporta una sfida fondamentale: come possono gli esseri umani guidare e fidarsi di sistemi IA molto più intelligenti di loro?
“Questo è uno dei problemi tecnici irrisolti più importanti al mondo. Ma pensiamo che sia risolvibile con uno sforzo concertato, anche perché ci sono molti approcci promettenti. Riteniamo che ci sia un’enorme opportunità per la comunità di ricerca ML e per i singoli ricercatori di fare grandi progressi su questo problema oggi. Nell’ambito del nostro progetto Superalignment, vogliamo riunire i migliori ricercatori e ingegneri del mondo per affrontare questa sfida e siamo particolarmente entusiasti di far entrare nuove persone nel campo”.
In collaborazione con Eric Schmidt, OpenAI sta lanciando un programma di sovvenzioni da 10 milioni di dollari per sostenere la ricerca tecnica volta a garantire che i sistemi di intelligenza artificiale sovrumani siano allineati e sicuri:
- Sovvenzioni da 100.000 a 2 milioni di dollari per laboratori accademici, organizzazioni non profit e singoli ricercatori
- Per gli studenti laureati, OpenAI sta sponsorizzando una Superalignment Fellowship da 150.000 dollari per un anno: 75.000 dollari di stipendio e 75.000 dollari di fondi per il calcolo e la ricerca
OpenAI sottolinea che non è richiesta alcuna esperienza precedente nel campo dell’allineamento e che la procedura di candidatura è semplice. Con queste sovvenzioni, OpenAI punta finanziare le seguenti direzioni di ricerca:
- Generalizzazione da debole a forte: gli esseri umani saranno supervisori deboli rispetto a modelli sovrumani. Possiamo capire e controllare come i modelli forti generalizzano da una supervisione debole?
- Interpretabilità: come possiamo comprendere gli interni dei modelli? E possiamo usarli per costruire, ad esempio, una macchina della verità?
- Supervisione scalabile: come possiamo utilizzare i sistemi di IA per assistere gli esseri umani nella valutazione dei risultati di altri sistemi di IA su compiti complessi?