Vägen till realtidsdubbning

För vissa väcker Real-time Dubbing en bild av Babelfish från Liftarens guide till galaxen.

Tills vi kan läsa hjärnvågor måste vi lyssna på vad talaren säger och översätta till vårt målspråk. Att försöka översätta ord för ord, direkt när de sägs, är en riktig utmaning.

Tänk dig att du vill översätta från engelska till spanska. Talaren börjar med “The”. På spanska blir “The” antingen “El” för maskulina ord eller “La” för feminina ord. Så vi kan inte översätta “The” säkert förrän vi hört mer.

Föreställ dig ett scenario där du vill översätta från engelska till spanska. Talaren börjar med "The". På spanska översätts "The" till "El" för maskulina ord och "La" för feminina ord. Så vi kan inte översätta "The" med säkerhet förrän vi hör mer.

Föreställ dig att talaren fortsätter "The running water". Nu har vi tillräckligt med information för att översätta de första tre orden till "El agua corriente". Om meningen fortsätter "The running water is too cold for swimming" är vi i bra form.

Men om talaren fortsätter "The running water buffalo..." behöver vi backa.

Dessa “

I vissa fall kan du acceptera att behöva backa om du börjar dubba för snabbt. I andra kan du välja att lägga till lite fördröjning för att få bättre träffsäkerhet. Eftersom viss fördröjning alltid finns vid dubbning, menar vi att “realtidsdubbning” är en tjänst där du kan strömma ljud och få tillbaka översatt innehåll direkt.trädgårdsgång" meningar, sådana som börjar på ett sätt där lyssnarens initiala tolkning sannolikt är felaktig, finns på många språk.

För vissa användningsområden kan du vara villig att acceptera att du måste backa efter att ha börjat dubba för snabbt. För andra kan du välja att lägga till latens för mer noggrannhet. Eftersom viss latens är inneboende i alla dubbningsfall, definierar vi "real-time" dubbning som en tjänst genom vilken du kontinuerligt kan strömma ljud och få tillbaka översatt innehåll.

De bästa kommersiella användningarna av realtidsdubbning är där

De bästa kommersiella tillämpningarna av real-time dubbning är de där

• Det finns en global publik
• Det är liveinnehåll
• Det är acceptabelt med viss fördröjning i sändningen

Sport

Forbes rapporterade 2019 att NBA tjänar 500 miljoner dollar på internationella tv-rättigheter. NFL arrangerar nu matcher i Brasilien, England, Tyskland och Mexiko eftersom de ser internationell expansion som en central intäktsdrivare i framtiden.

Ofta finns flera kamera- och ljudtekniker på plats som skickar sitt material till en produktionsanläggning. Där växlar man mellan kameror, mixar ljudet, lägger på grafik och kommenterar. Ibland lägger man till extra fördröjning för att kunna censurera svordomar eller oväntat innehåll.

Huvudflödet från produktionen skickas till tv-bolaget som lägger till sin egen grafik och reklam och distribuerar innehållet till sina lokala nätverk. Till sist levererar olika tjänster innehållet till tittarna via kabel, satellit eller streaming.

Huvudproduktionsflödet skickas till sändningsnätverket som lägger till sin egen branding och reklam och distribuerar innehållet till sina lokala nätverk. Slutligen delar sista milens leverantörer innehållet med konsumenter via kablar, satellitflöden och streamingtjänster.

Sportbolag bryr sig mest om att leverera en kvalitetsprodukt, och de tror att nyckeln är att fånga känslan och tajmingen hos kommentatorerna. “Han skjuter, han gör mål!” måste låta engagerat.

Våra voice cloning-modeller som ligger till grund för vår dubbningstjänst kan fånga originaltalarnas känsla och leverans. Till skillnad från översättning ger mer kontext inte alltid bättre resultat. Men vi är inte riktigt på samma känslonivå som en spansk fotbollskommentator än!

Varje röstklon är ett genomsnitt av sina indata. Om du blandar en neutral replik som “De måste vara mer aggressiva med bara två minuter kvar.” med “Han skjuter, han gör mål!”, så blir klonen ett mellanting.

Varje röstklon är ett genomsnitt av sina ingångar. Om du kombinerar en rad som levereras platt som "De behöver vara mer aggressiva med bara två minuter kvar." med "Han skjuter, han gör mål!", kommer den resulterande klonen att vara det genomsnittliga utförandet av de två.

Nyhetssändningar

Precis som med direktsänd sport går nyhetssändningar genom en produktionskedja som ger fördröjning. När vi pratat med mediebolag har vi märkt att känslan (även om den är viktig) ofta är lättare att få till, eftersom nyhetsuppläsare brukar ha ett jämnt tonläge. Det viktigaste är att översättningen är både korrekt och nyanserad.

Förutom risken att den automatiska översättningen misslyckas, finns det begrepp som inte har någon direkt översättning. Till exempel:

"Samhället samlades för en minnesdag där överlevare delade sina berättelser och äldre höll traditionella böner för läkande."

Spanska: "La comunidad se reunió para un día conmemorativo, donde los sobrevivientes compartieron sus historias y los ancianos realizaron oraciones tradicionales para la sanación."

Även om det är tekniskt korrekt, har “survivors” och “sobrevivientes” olika tyngd i sammanhang med historiska trauman – på engelska antyder det ofta styrka och värdighet, medan “sobrevivientes” kan betona offerrollen. På samma sätt skiljer sig “performed prayers” och “realizaron oraciones” i känsla – “performed” antyder ceremoniell betydelse, medan “realizaron” kan låta mer rutinmässigt.

Bonus – Vägen till konversationsdubbning

För att möjliggöra naturliga samtal mellan personer som inte talar samma språk behövs nästan omedelbar översättning.

Genom att använda sannolikheterna för nästa token i LLM:er får du en realtidsmodell för hur en mening troligen kommer att fortsätta.

Genom att använda nästa token-prediktionssannolikheter hos LLMs har du en realtidsmodell av sannolikheten för vart en mening är på väg.

_{Bildkälla - Hugging Face "How to generate text"}

Tycker du detta är spännande och vill jobba med oss kring framtidens AI-ljud? Kolla in

Tycker du detta är intressant och vill arbeta med oss på framtiden för AI-ljud? Utforska öppna roller här.