Meta ha annunciato il suo ultimo modello di intelligenza artificiale generativa, seguito da ImageBind è Voicebox, progettato per aiutare i creatori con la sua capacità di eseguire attività di generazione vocale come l’editing audio, il campionamento e la stilizzazione, anche se non era specificamente addestrati a farlo attraverso l’apprendimento contestuale.
Meta afferma che questo nuovo modello di intelligenza artificiale porterà vantaggi a molte persone in tutto il mondo e utilizza esempi come aiutare le persone ipovedenti a sentire i messaggi scritti dagli amici con la loro voce, oltre a consentire alle persone di parlare lingue straniere con la propria voce.
Il modello AI stesso può produrre clip audio di alta qualità e modificare l’audio preregistrato per rimuovere interruzioni indesiderate come i clacson delle auto preservando il contenuto e lo stile dell’audio pur essendo multilingue, producendo parlato in sei lingue. Gli sviluppi futuri per il modello includono l’assegnazione di voci dal suono naturale agli assistenti visivi o ai personaggi non giocanti durante i giochi nel metaverso .
Meta ha anche confrontato Voicebox con altri modelli di AI audio là fuori, nominando in particolare Vall-E e YourTTS come concorrenti, dimostrando che Voicebox è più avanzato e supera entrambi i modelli quando si confrontano i tassi di errore di Word e la somiglianza di stile.
Voicebox è stato costruito su un modello Flow Matching, che è l’ultimo modello generativo non autoregressivo di Meta, che può apprendere una mappatura altamente non deterministica tra testo e parlato, consentendo a Voicebox di apprendere da vari dati vocali senza che debbano essere etichettati con attenzione consentendo il dati più diversificati e su scala più ampia.
Voicebox è stato addestrato su più di 50.000 ore di discorsi registrati e trascrizioni da audiolibri di dominio pubblico in inglese, francese, spagnolo, tedesco, polacco e portoghese fino ad ora, e può anche prevedere un segmento vocale quando viene fornito il discorso circostante e la trascrizione del segmento.
Infine, Meta continua commentando che mentre la tecnologia può portare a una nuova era di intelligenza artificiale generativa per la parola, potrebbe portare il potenziale di uso improprio e danni non intenzionali.
Nel documento di ricerca che Meta condividerà su Voicebox, includerà dettagli su come ha costruito un classificatore altamente efficace in grado di distinguere tra discorso autentico e parlato generato da Voicebox.
Meta non renderà il programma AI disponibile per uso pubblico, né rilascerà il codice sorgente.