Negli ultimi mesi, OpenAI ha rilasciato diversi nuovi strumenti, tra cui Operator , Deep Research , Computer-Using Agents e Responses API , concentrandosi su agenti basati su testo. Oggi, OpenAI ha annunciato nuovi modelli audio speech-to-text e text-to-speech nell’API, consentendo agli sviluppatori di creare agenti vocali più potenti, personalizzabili ed espressivi che mai.
I nuovi modelli speech-to-text di OpenAI, gpt-4o-transcribe e gpt-4o-mini-transcribe, offrono miglioramenti significativi nel tasso di errore delle parole, nel riconoscimento della lingua e nell’accuratezza rispetto ai modelli Whisper esistenti di OpenAI. Questi progressi sono stati ottenuti tramite apprendimento rinforzato e un’ampia formazione intermedia utilizzando set di dati audio diversi e di alta qualità.
OpenAI sostiene che questi nuovi modelli audio sono in grado di comprendere meglio le sfumature del parlato, ridurre i riconoscimenti errati e migliorare l’affidabilità della trascrizione anche quando l’audio in ingresso presenta accenti, ambienti rumorosi e velocità del parlato variabili.
Il gpt-4o-mini-tts è l’ultimo modello text-to-speech, che offre una migliore sterzabilità. Gli sviluppatori possono ora istruire il modello su come articolare il contenuto del testo. Tuttavia, per ora, il modello text-to-speech è limitato a voci artificiali preimpostate.
Il modello gpt-4o-transcribe costa 6 $ per milione di token di input audio, 2,50 $ per milione di token di input di testo e 10 $ per milione di token di output di testo. Il modello gpt-4o-mini-transcribe costa 3 $ per milione di token di input audio, 1,25 $ per milione di token di input di testo e 5 $ per milione di token di output di testo. Infine, il modello gpt-4o-mini-tts costa 0,60 $ per milione di token di input di testo e 12 $ per milione di token di output audio. Ciò equivale ai seguenti costi al minuto:
A.D
- gpt-4o-transcribe: ~0,6 centesimi / minuto
- gpt-4o-mini-transcribe: ~0,3 centesimi / minuto
- gpt-4o-mini-tts: ~1,5 centesimi/minuto
Il team di OpenAI ha scritto quanto segue in merito a questi nuovi modelli audio:
“Guardando al futuro, intendiamo continuare a investire nel miglioramento dell’intelligenza e dell’accuratezza dei nostri modelli audio e nell’esplorazione di modi per consentire agli sviluppatori di utilizzare le proprie voci personalizzate per creare esperienze ancora più personalizzate, in modi che siano in linea con i nostri standard di sicurezza”.
Questi nuovi modelli audio sono ora disponibili per tutti gli sviluppatori tramite API. OpenAI ha anche annunciato un’integrazione con Agents SDK, consentendo agli sviluppatori di creare facilmente agenti vocali. Per esperienze speech-to-speech a bassa latenza, OpenAI consiglia di utilizzare la Realtime API.
