L’ultimo giorno dell’evento ’12 Days of OpenAI’, OpenAI ha annunciato oggi la prossima famiglia di modelli di ragionamento o3. Simile alla famiglia o1 esistente, la famiglia o3 includerà i modelli o3 e o3 mini.
OpenAI ha anche condiviso alcuni numeri di benchmark per i modelli o3.
- L’o3 ha ottenuto un punteggio di svolta del 75,7% nella valutazione semi-privata ARC-AGI. Con una configurazione o3 ad alta capacità di calcolo, ha ottenuto un punteggio dell’87,5% nella valutazione semi-privata.
- Nel benchmark EpochAI Frontier Math, o3 ha risolto il 25,2% dei problemi, mentre i modelli esistenti ne hanno risolti solo il 2%.
- Nel test SWE-Bench Verified, o3 ha ottenuto un punteggio di 71,7, ovvero 22,8 punti in più rispetto a o1.
- Su Codeforces, o3 ha ottenuto un punteggio Elo di 2727.
- Nell’AIME 2024, o3 ha ottenuto un punteggio del 96,7%. A titolo di confronto, o1 ha ottenuto un punteggio dell’83,3.
- Nel GPQA Diamond, o3 ha ottenuto un punteggio dell’87,7%. In confronto, o1 ha ottenuto un punteggio del 78%.
Il team del premio ARC ha scritto quanto segue in merito ai nuovi modelli o3 di OpenAI:Il nuovo modello o3 di OpenAI rappresenta un significativo balzo in avanti nella capacità dell’IA di adattarsi a nuovi compiti. Non si tratta semplicemente di un miglioramento incrementale, ma di una vera e propria svolta, che segna un cambiamento qualitativo nelle capacità dell’IA rispetto alle precedenti limitazioni degli LLM. o3 è un sistema in grado di adattarsi a compiti mai incontrati prima, avvicinandosi presumibilmente alle prestazioni di livello umano nel dominio ARC-AGI.Il modello o3 mini fornirà agli utenti un’opzione per selezionare tra tre livelli di ragionamento: Alto, Medio e Basso. Il livello Basso sarà il più veloce ma meno accurato, mentre il livello Alto sarà il più lento ma più accurato.OpenAI non ha ancora rilasciato i modelli o3. Tuttavia, ha iniziato a condividere i modelli o3 per i test di sicurezza e protezione, a partire da oggi. I ricercatori di sicurezza e protezione interessati possono anche presentare domanda per ottenere l’accesso ai modelli o3 prima del lancio pubblico. Si prevede che i modelli o3 saranno disponibili al pubblico nel 2025.
