API di doppiaggio IA: come doppiare audio e video su larga scala

Fino a qualche decennio fa, doppiare un video significava prenotare uno studio, assumere doppiatori per la lingua di destinazione, registrare (e riregistrare) ogni battuta e poi aspettare settimane per la consegna finale.

Un'API di doppiaggio IA riduce questo processo a poche chiamate REST. Invia il tuo audio o video e ricevi un output doppiato in nuove lingue, mantenendo intatti tempi e gamma emotiva dell'originale.

Questa guida spiega come funziona un'API di doppiaggio IA e cosa distingue una soluzione pronta per la produzione da una pipeline assemblata. Vedremo anche come integrare la nuova API di doppiaggio di ElevenLabs, che ora offre Dubbing v2, il nostro più recente modello di doppiaggio, in ogni workflow.

In sintesi

• Un'API di doppiaggio IA prende audio o video di origine e restituisce un output doppiato in nuove lingue.
• Dubbing v2 è un modello audio-to-audio che si basa sulla performance originale: emozione, tono e interpretazione vengono mantenuti in ogni doppiaggio.
• La Dubbing API di ElevenLabs copre più di 90 lingue con traduzioni che tengono conto della sincronizzazione.
• Gli sviluppatori creano un progetto di doppiaggio, aggiungono le lingue di destinazione e scaricano i doppiaggi completati con poche chiamate REST.
• I clienti enterprise possono modificare le trascrizioni di origine e le traduzioni, quindi rigenerare soltanto i segmenti modificati. 

Che cos'è un'API di doppiaggio IA?

Un'API di doppiaggio IA è un'interfaccia programmatica che accetta audio o video in una lingua e restituisce audio doppiato nelle lingue di destinazione. Automatizza l'intera catena di localizzazione: trascrive il contenuto di origine, traduce i dialoghi, clona la voce di ogni interlocutore, genera parlato nella lingua di destinazione e allinea l'output ai tempi originali.

Sebbene gli sviluppatori abbiano concatenato servizi di Speech to Text, traduzione automatica e Text to Speech in pipeline di doppiaggio improvvisate, queste non sono affidabili per carichi di lavoro su larga scala.

L'identità del parlante si frammenta tra le fasi, i tempi possono slittare e un copione un tempo ricco di emozioni diventa monotono.

Un'API di doppiaggio progettata appositamente include una serie di funzionalità aggiuntive che risolvono questi problemi. Dalla separazione dei parlanti alla conservazione della voce, dalla sincronizzazione interna alla clonazione vocale, un'API di doppiaggio IA di alta qualità fa sì che l'output suoni come il parlante originale, anziché come una traduzione piatta.

Come funziona il doppiaggio IA: audio-to-audio e pipeline a cascata

La maggior parte dei sistemi di doppiaggio automatico utilizza pipeline a cascata. Trascrivono l'audio di origine, traducono la trascrizione e sintetizzano nuovo parlato da quel testo. Tutto ciò che va oltre la trascrizione pura, come esitazione, tensione, sarcasmo o un commento sussurrato, si perde prima che inizi la sintesi.

ElevenLabs Dubbing v2 adotta un approccio diverso. 

Dubbing v2 offre un modello audio-to-audio che basa l'output direttamente sulla registrazione originale, anziché sulla sua trascrizione. Tono, emozione e registro emotivo vengono trasferiti nel doppiaggio perché il modello ascolta la performance invece di leggerne una descrizione.

Stimiamo che Dubbing v2 produca doppiaggi con una qualità pari all'80-90% di quella umana: il doppiaggio IA ora funziona quindi anche per contenuti cinematografici.

Dubbing v2 include anche altre tre funzionalità chiave:

• Traduzione con sincronizzazione: il modello traduce tenendo conto dei tempi, così gli inizi e le pause dell'audio doppiato si allineano automaticamente all'originale. Non sono necessarie manipolazioni video né lip sync. L'audio si posiziona esattamente dove si trovava il dialogo originale.
• Clonazione vocale: ogni traduzione viene fornita con un clone vocale del parlante originale, senza alcun passaggio di clonazione manuale. L'identità del parlante, il tono e la tonalità vengono mantenuti in ogni lingua supportata, anche con più parlanti.
• Precisione a livello locale: Dubbing v2 distingue le varianti regionali, come lo spagnolo latinoamericano o castigliano, grazie a controlli locali tramite codici lingua come pt-BR per il portoghese brasiliano.

Cosa cercare in un'API di doppiaggio IA

Quando valuti un'API di doppiaggio IA per la tua pipeline di sviluppo, ci sono alcuni criteri chiave da considerare.

Ecco le principali funzionalità delle migliori API di doppiaggio IA:

• Ampia copertura di lingue e varianti locali: cerca un'ampia scelta (più di 90 lingue) e la possibilità di definire con precisione aspetti come le varianti regionali.
• Conservazione della performance: verifica se il sistema si basa sull'audio di origine o sulla trascrizione. L'architettura audio-to-audio determina se l'emozione sopravviverà al doppiaggio.
• Qualità di sincronizzazione fluida: un audio doppiato che si discosta dai tempi originali richiede ore di correzioni manuali. La sincronizzazione deve funzionare per impostazione predefinita per evitare il lavoro aggiuntivo di post-produzione.
• Gestione di più parlanti e dell'audio di sottofondo: un'API di doppiaggio IA dovrebbe gestire facilmente parlanti sovrapposti o effetti sonori. L'API dovrebbe inoltre preservare la musica di sottofondo o i mix all'interno di una clip.
• Modifica e rigenerazione: un'API di doppiaggio che ti permette di correggere una trascrizione, perfezionare una traduzione e rigenerare soltanto i segmenti interessati evita di dover doppiare di nuovo interi file.
• Conformità normativa: i carichi di lavoro enterprise richiedono la conformità a SOC 2, GDPR e ISO 27001 prima che i contenuti passino attraverso il sistema.

Il resto di questa guida illustra la Dubbing API di ElevenLabs, che include tutte le funzionalità elencate sopra.

Come doppiare audio e video con la Dubbing API di ElevenLabs

La Dubbing API è organizzata in progetti. Ogni progetto contiene un file di origine e la relativa trascrizione. Puoi poi aggiungere una lingua di destinazione per ogni lingua in cui vuoi doppiare, ciascuna con la propria traduzione e il proprio output.

Il workflow di base per creare e recuperare contenuti descritto qui sotto è disponibile per tutti gli utenti della piattaforma ElevenAPI.

1) Crea un progetto di doppiaggio

Invia il media di origine come file caricato o URL pubblico. L'autenticazione usa la tua chiave API nell'header xi-api-key. Puoi fornire un'etichetta di riferimento facoltativa per identificare il progetto dal tuo lato e dei termini chiave per orientare trascrizione e traduzione verso nomi di prodotti o brand.

Crea da un URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Crea da un file caricato

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

La risposta restituisce un project_id con stato queued. Ometti source_language e il modello la rileverà automaticamente durante la trascrizione.

2) Esegui il polling finché il progetto non è pronto

Le fonti vengono trascritte in modo asincrono, quindi esegui il polling del progetto finché il relativo stato non diventa ready. 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Un progetto ready ha la trascrizione di origine preparata e attende l'aggiunta delle lingue di destinazione. L'avanzamento per lingua è associato alle singole lingue, quindi da questo momento il progetto resta ready. 

3) Aggiungi le lingue di destinazione

Aggiungi una lingua per ogni destinazione. L'impostazione cloning_strength (da 0 a 10, valore predefinito 7) controlla il compromesso tra somiglianza con la voce originale e resa naturale nella lingua di destinazione. 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Ogni lingua passa dagli stati queued e processing a completed.

Per doppiare in cinque lingue, effettua cinque chiamate sullo stesso progetto. La fonte viene trascritta una volta e ogni lingua viene tradotta a partire da essa.

4) Scarica l'output doppiato

Recupera la lingua quando il suo stato è completed. La risposta include un URL di download firmato per l'audio doppiato.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Ricorda che gli URL di download hanno una durata limitata, quindi recupera nuovamente la lingua ogni volta che vuoi un nuovo link.

Con questi quattro passaggi hai un ciclo di doppiaggio completamente automatizzato: crea, esegui il polling, aggiungi lingue, scarica.

Modificare e rigenerare doppiaggi tramite API

Anche se l'automazione dell'output copre la maggior parte dei casi d'uso, per una localizzazione di qualità spesso serve una revisione umana dei testi per assicurarsi che tutto sia perfetto. La Dubbing API offre ai clienti enterprise il controllo a livello di segmento su entrambi i lati della traduzione. 

La trascrizione di origine è l'unica fonte di verità da cui viene tradotta ogni lingua ed è completamente modificabile. Puoi correggere una battuta trascritta male, sistemare l'assegnazione di un parlante o modificare i tempi di qualsiasi segmento:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Ogni lingua di destinazione espone la propria trascrizione, che associa ciascun segmento di origine alla relativa traduzione. Anche le traduzioni sono modificabili allo stesso modo.

Puoi anche fornire la tua trascrizione di origine e la tua traduzione: il tuo workflow di localizzazione esistente mantiene così il controllo sui testi, mentre il modello gestisce le voci.

Quando una trascrizione cambia dopo il completamento di un doppiaggio, la lingua viene contrassegnata come stale e una singola chiamata la rigenera dal testo corrente.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Le rigenerazioni sono gratuite fino a 1 volta la durata del media di origine: apportare iterazioni a una traduzione non moltiplica quindi il costo del doppiaggio. Oltre la quota di 1x, la rigenerazione viene fatturata alla tariffa standard per il doppiaggio.

Casi d'uso delle API di doppiaggio IA

Un'API per il doppiaggio video è utile ogni volta che devi localizzare grandi volumi di audio. Il doppiaggio manuale richiede molto tempo e lavoro, mentre un'API di doppiaggio IA ti permette di accelerare notevolmente il processo.

Ecco alcuni casi d'uso delle API di doppiaggio IA:

• Piattaforme per la creazione di contenuti: integra il doppiaggio direttamente nei workflow di produzione dei creator, così gli utenti possono sperimentare senza uscire dalla tua app.
• Contenuti di formazione e supporto: le aziende che assumono a livello globale possono localizzare i contenuti in diverse lingue, supportando i video di onboarding per tutti gli utenti.
• Streaming e media: le pipeline di localizzazione possono doppiare automaticamente serie lunghe o altri contenuti media per la distribuzione in più territori. 
• Materiali di marketing: lancia campagne video multilingue senza dover riregistrare le battute dei doppiatori in decine di lingue.
• Edtech: le piattaforme di corsi doppiano i video dei docenti per ogni mercato che servono, preservando al contempo la voce dell'insegnante. 

In tutti i settori, le API di doppiaggio rendono accessibile la produzione su larga scala di contenuti localizzati e di alta qualità.

Dubbing v2 è ora disponibile su ElevenAPI

La Dubbing API è disponibile sia per gli sviluppatori self-service sia per quelli enterprise, con Dubbing v2 accessibile a tutti ed endpoint di modifica per i workspace enterprise. 

Esplora la Dubbing API per vedere tutte le funzionalità disponibili, oppure registrati e crea una chiave API per realizzare il tuo primo doppiaggio in pochi minuti.

Domande frequenti sulle API di doppiaggio