AI-dubbnings-API: Så dubbar du ljud och video i stor skala

För några decennier sedan innebar dubbning av en video att boka en studio, anlita röstskådespelare för ditt målspråk, spela in (och spela om) varje replik och sedan vänta i veckor på den färdiga leveransen.

Ett AI-dubbnings-API gör den processen till några få REST-anrop. Skicka ditt ljud eller din video och få en dubbad version på nya språk, med originalets tajming och känslomässiga omfång bevarade.

I den här guiden förklarar vi hur ett AI-dubbnings-API fungerar och vad som skiljer ett API i produktionsklass från en ihopkopplad pipeline. Vi går också igenom hur du integrerar ElevenLabs nya dubbnings-API, som nu erbjuder Dubbing v2, vår senaste dubbningsmodell, i alla workflow.

Sammanfattning

• Ett AI-dubbnings-API tar källjud eller video och returnerar dubbad utdata på nya språk.
• Dubbing v2 är en audio-to-audio-modell som utgår från originalframförandet, vilket innebär att känsla, ton och leverans följer med i varje dubbning.
• ElevenLabs Dubbing API omfattar över 90 språk med synkanpassad översättning.
• Utvecklare skapar ett dubbningsprojekt, lägger till målspråk och laddar ner färdiga dubbningar med ett fåtal REST-anrop.
• Företagskunder kan redigera källtranskriptioner och översättningar och sedan generera om bara de segment som har ändrats. 

Vad är ett AI-dubbnings-API?

Ett AI-dubbnings-API är ett programmatiskt gränssnitt som tar emot ljud eller video på ett språk och returnerar dubbat ljud på målspråk. Det automatiserar hela lokaliseringskedjan: transkriberar källan, översätter dialogen, klonar varje talares röst, genererar tal på målspråket och synkar resultatet med originalets tajming.

Utvecklare har visserligen kopplat ihop Speech to Text, maskinöversättning och Text to Speech-tjänster till provisoriska dubbningspipelines, men de är inte tillförlitliga för arbetslaster i stor skala.

Talaridentiteten splittras mellan stegen, tajmingen kan glida och ett manus med starka känslor blir monotont.

Ett dubbnings-API som är byggt för ändamålet innehåller en rad extra funktioner som löser de här problemen. Från talarseparering och röstbevarande till intern synkning och Voice Cloning gör ett högkvalitativt AI-dubbnings-API att resultatet låter som originaltalaren, inte som en platt översättning.

Så fungerar AI-dubbning: Audio-to-audio jämfört med kaskadkopplade pipelines

De flesta automatiserade dubbningssystem använder kaskadkopplade pipelines. De transkriberar källjudet, översätter transkriptionen och syntetiserar nytt tal från texten. Allt utöver den rena transkriptionen, som tvekan, spänning, sarkasm eller en viskad kommentar, går förlorat innan syntesen börjar.

ElevenLabs Dubbing v2 använder en annan metod. 

Dubbing v2 erbjuder en audio-to-audio-modell som baserar resultatet direkt på originalinspelningen, i stället för på en transkription av den. Ton, känsla och känsloläge överförs till dubbningen eftersom modellen hör framförandet i stället för att läsa en beskrivning av det.

Vi uppskattar att Dubbing v2 producerar dubbningar med 80–90 % av mänsklig kvalitet, vilket innebär att AI-dubbning nu fungerar även för filmiskt innehåll.

Tre andra centrala funktioner kompletterar Dubbing v2:

• Synkanpassad översättning: Modellen översätter med hänsyn till tajming, så att start och stopp i det dubbade ljudet automatiskt linjerar med originalet. Ingen videomanipulering eller läppsynkning behövs. Ljudet hamnar exakt där originaldialogen låg.
• Automatisk Voice Cloning: Varje översättning levereras med en röstklon av originaltalaren, utan något manuellt kloningssteg. Talaridentitet, tonhöjd och klang bevaras på alla språk som stöds, även med flera talare.
• Precision på lokalnivå: Dubbing v2 skiljer mellan regionala varianter, som latinamerikansk och kastiliansk spanska, med lokalkontroller via språkkoder som pt-BR för brasiliansk portugisiska.

Vad du ska leta efter i ett AI-dubbnings-API

När du utvärderar ett AI-dubbnings-API för din utvecklarpipeline finns det några viktiga kriterier att titta på.

Här är de viktigaste funktionerna i de bästa AI-dubbnings-API:erna:

• Bred språk- och lokaliserings­täckning: Leta efter bredd (över 90 språk) och möjligheten att detaljerat rikta in dig på exempelvis regionala varianter.
• Bevarat framförande: Ta reda på om systemet utgår från källjudet eller transkriptionen. Audio-to-audio-arkitekturen avgör om känslan överlever dubbningen.
• Sömlös synkkvalitet: Dubbat ljud som glider från originalets tajming kräver timmar av manuellt efterarbete. Synkningen måste fungera som standard för att undvika extra efterbearbetning.
• Funktioner för flera talare och bakgrundsljud: Ett AI-dubbnings-API ska enkelt kunna hantera överlappande talare eller ljudeffekter. API:et ska också bevara bakgrunds-musik eller mixar i ett klipp.
• Redigering och omgenerering: Ett dubbnings-API som låter dig korrigera en transkription, förbättra en översättning och generera om endast berörda segment sparar dig från att dubba om hela filer.
• Efterlevnad:Företagsarbetslaster behöver uppfylla SOC 2, GDPR och ISO 27001 innan innehåll kan behandlas i systemet.

Resten av den här guiden går igenom Dubbing API med ElevenLabs, som innehåller alla funktioner i listan ovan.

Så dubbar du ljud och video med ElevenLabs Dubbing API

Dubbing API är organiserat kring projekt. Varje projekt innehåller en källfil och dess transkription. Du kan sedan lägga till ett målspråk för varje språk du vill dubba till, där varje språk har sin egen översättning och utdata.

Det grundläggande workflowet för att skapa och hämta nedan är tillgängligt för alla användare på ElevenAPI-plattformen.

1) Skapa ett dubbningsprojekt

Skicka ditt källmaterial som en filuppladdning eller en offentlig URL. Autentisering använder din API-nyckel i headern xi-api-key. Du kan ange en valfri referensetikett för att identifiera projektet hos dig samt nyckeltermer som styr transkriberingen och översättningen mot produkt- eller varumärkesnamn.

Skapa från en URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Skapa från en filuppladdning

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Svaret returnerar ett project_id med statusen queued. Utelämna source_language så identifierar modellen det automatiskt under transkriberingen.

2) Kontrollera status tills projektet är klart

Källmaterial transkriberas asynkront, så kontrollera projektet tills statusen blir ready. 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Ett klart projekt har sin källtranskription förberedd och väntar på att du lägger till målspråk. Framstegen per språk finns på själva språken, så projektet förblir ready från och med nu. 

3) Lägg till målspråk

Lägg till ett språk per mål. Inställningen cloning_strength (0 till 10, standardvärde 7) styr avvägningen mellan likhet med originalrösten och naturlig leverans på målspråket. 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Varje språk går från queued och processing till completed.

Om du vill dubba till fem språk gör du fem anrop mot samma projekt. Källan transkriberas en gång och varje språk översätts från den.

4) Ladda ner den dubbade utdatafilen

Hämta språket när statusen är completed. Svaret innehåller en signerad nedladdnings-URL för det dubbade ljudet.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Kom ihåg att nedladdnings-URL:er är tidsbegränsade, så hämta språket igen när du vill ha en ny länk.

Med de här fyra stegen har du ett helt automatiserat dubbningsflöde: skapa, kontrollera status, lägg till språk, ladda ner.

Redigera och generera om dubbningar via API

Även om automatiserad utdata täcker de flesta användningsfall behövs ofta en mänsklig genomgång av själva formuleringarna vid premiumlokalisering, för att allt ska kännas perfekt. Dubbing API ger företagskunder kontroll på segmentnivå över båda sidor av översättningen. 

Källtranskriptionen är den enda sanningskällan som alla språk översätts från, och den kan redigeras helt. Du kan rätta en felhörd replik, korrigera talartilldelningen eller justera tajmingen för valfritt segment:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Varje målspråk har en egen transkription som kopplar ihop varje källsegment med dess översättning. Översättningar kan redigeras på samma sätt.

Du kan också använda din egen källtranskription och översättning. Då styr ditt befintliga lokaliseringsworkflow formuleringarna, medan modellen hanterar rösterna.

När en transkription ändras efter att en dubbning har slutförts markeras språket som inaktuellt, och ett enda anrop genererar om det från den aktuella texten.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Omgenerering är kostnadsfri upp till 1× källmaterialets längd, vilket innebär att du kan iterera på en översättning utan att dubbningskostnaden multipliceras. Utöver kvoten på 1× debiteras omgenerering enligt din vanliga dubbningskostnad.

Användningsfall för AI-dubbnings-API:er

Ett videodubbnings-API är användbart när du behöver lokalisera ljud i stor skala. Manuell dubbning tar tid och kräver mycket arbete, medan ett AI-dubbnings-API kan snabba upp processen avsevärt.

Här är några användningsfall för AI-dubbnings-API:er:

• Plattformar för medieskapande: Bygg in dubbning direkt i dina produktionsworkflows för kreatörer, så att användarna kan experimentera utan att lämna appen.
• Utbildnings- och supportinnehåll: Företag med globala rekryteringsbaser kan lokalisera innehåll till olika språk och skapa introduktionsvideor för alla användare.
• Streaming och media: Lokaliseringspipelines kan automatiskt dubba långserier eller annat medieinnehåll för lansering i flera regioner. 
• Marknadsföringsmaterial: Lansera flerspråkiga videokampanjer utan att behöva spela in röstskådespelarnas repliker på nytt på dussintals språk.
• Edtech: Kursplattformar dubbar instruktörsvideor till alla marknader de betjänar, samtidigt som instruktörens röst bevaras. 

Dubbnings-API:er gör det enklare att producera högkvalitativt, lokaliserat innehåll i stor skala.

Dubbing v2 är nu live på ElevenAPI

Dubbing API är live för både självbetjänings- och företagsutvecklare. Dubbing v2 är tillgängligt för alla, och redigeringsendpoints finns för företagsarbetsytor. 

Utforska Dubbing API för att se alla funktioner, eller registrera dig och skapa en API-nyckel för att köra din första dubbning på några minuter.

Vanliga frågor om dubbnings-API:er