De weg naar realtime nasynchronisatie

Voor sommigen roept realtime nasynchronisatie het beeld op van de Babelvis uit Hitchhiker's Guide to the Galaxy. 

De Babelvis „voedt zich met hersengolfenergie, absorbeert onbewuste frequenties en scheidt een matrix van bewuste frequenties uit naar de spraakcentra van de hersenen.” In de praktijk betekent dit dat wanneer je er een in je oor doet, je iedereen die in welke taal dan ook tegen je spreekt onmiddellijk hoort alsof diegene je moedertaal spreekt (en je de oorspronkelijke audio helemaal niet hoort). 

Tot we hersengolven kunnen lezen, moeten we luisteren naar de woorden van de spreker en die naar onze doeltaal vertalen. Elk woord proberen te vertalen zodra het de mond van de spreker verlaat, brengt echte uitdagingen met zich mee. 

Stel je een situatie voor waarin je van Engels naar Spaans wilt vertalen. De spreker begint met „The”. In het Spaans wordt „The” vertaald als „El” bij mannelijke woorden en „La” bij vrouwelijke woorden. We kunnen „The” dus pas met zekerheid vertalen als we meer horen. 

Stel dat de spreker doorgaat met „The running water”. Nu hebben we genoeg informatie om de eerste drie woorden te vertalen als „El agua corriente”. Als de zin doorgaat met „The running water is too cold for swimming”, ziet het er goed uit. 

Maar als de spreker doorgaat met „The running water buffalo…”, moeten we terugkomen op onze vertaling. 

Om het punt te benadrukken: als de spreker doorgaat met „The running water buffalo protected her calf”, hadden we de zin moeten beginnen met „La búfala” in plaats van „El búfalo”.

Deze „garden-path”-zinnen, die zo beginnen dat de eerste interpretatie van de luisteraar waarschijnlijk onjuist is, komen in veel talen voor. 

Voor sommige toepassingen accepteer je misschien dat je moet terugkomen op je vertaling als je te snel begint met nasynchroniseren. Voor andere kun je kiezen voor meer vertraging om nauwkeuriger te zijn. Omdat enige vertraging inherent is aan alle toepassingen van nasynchronisatie, definiëren we „realtime” nasynchronisatie als een service waarmee je continu audio kunt streamen en vertaalde content terugkrijgt.

De beste toepassingen voor realtime nasynchronisatie

De beste commerciële toepassingen van realtime nasynchronisatie zijn die waarbij

• er een wereldwijd publiek is
• het om livecontent gaat
• enige vertraging in de uitzending acceptabel is

Sport

Forbes meldde in 2019 dat de NBA $500 miljoen verdient aan internationale tv-rechten. De NFL organiseert nu wedstrijden in Brazilië, Engeland, Duitsland en Mexico, omdat de organisatie internationale uitbreiding in de toekomst als een belangrijke inkomstenbron ziet. 

Hoewel de meeste sportevenementen bedoeld zijn om live te volgen, zijn mensen al gewend aan enige vertraging, of ze dat nu weten of niet. De tijd die verstrijkt voordat beelden uit het stadion op je scherm thuis verschijnen, kan variëren van 5 seconden tot enkele minuten.

Meestal zijn er op locatie meerdere camera- en geluidsoperators die hun beelden streamen naar een productiefaciliteit. Daar wordt geschakeld tussen camerafeeds, audio gemixt, graphics toegevoegd en commentaar geleverd. Ook kunnen ze bewust extra vertraging toevoegen om te luisteren naar en scheldwoorden of andere onverwachte content weg te piepen.

De hoofdproductiefeed wordt naar het uitzendnetwerk gestuurd, dat eigen branding en commercials toevoegt en de content naar lokale netwerken distribueert. Tot slot delen last-mileproviders de content met consumenten via kabels, satellietfeeds en streamingdiensten.

Veel producenten geven aan dat het acceptabel zou zijn om voor nasynchronisatie maximaal 20 seconden extra vertraging toe te voegen. Die extra vertraging wordt ruimschoots gecompenseerd doordat kijkers in hun moedertaal kunnen luisteren.

Sportbedrijven vinden het vooral belangrijk om een kwaliteitsproduct te bieden. Volgens hen ligt de sleutel daartoe in het goed vastleggen van de emotie en timing van commentatoren. „He shoots, he scores!” moet enthousiast worden gebracht. 

Onze modellen voor stemklonen, die de basis vormen voor onze nasynchronisatieservice, kunnen de emotie en voordracht van de oorspronkelijke spreker vastleggen. Anders dan bij vertaling leidt meer context niet altijd tot een beter resultaat. We zijn echter nog niet op het emotionele niveau van een Spaanse voetbalcommentator!

Elke stemkloon is een gemiddelde van de invoer. Als je een vlak uitgesproken zin als „They are going to need to be more aggressive with only two minutes remaining.” combineert met „He shoots, he scores!”, krijgt de resulterende kloon de gemiddelde voordracht van beide. 

Vandaag kunnen we dit ondervangen door kortere contextlengtes te gebruiken voor stemklonen dan voor transcriptvertaling. In de toekomst verwachten we verdere verbeteringen door ons nasynchronisatiemodel extra context te geven, zoals afbeeldingen en video, of door een „emotioneel transcript” van de oorspronkelijke spreker te maken en dat te gebruiken om de voordracht van de nagesynchroniseerde audio aan te sturen.

Nieuwsuitzendingen

Net als „live” sport doorlopen nieuwsuitzendingen een productiepijplijn die vertraging toevoegt. Uit onze gesprekken met mediabedrijven blijkt dat de emotie goed treffen, hoewel belangrijk, minder kritisch en vaak gemakkelijker is, omdat de meeste nieuwslezers zeer consistent spreken. Het is echter essentieel dat de vertaling zowel nauwkeurig als genuanceerd is. 

Naast de kans dat de geautomatiseerde vertaaldienst faalt, hebben sommige begrippen geen directe vertaling. Neem het volgende voorbeeld:

"De gemeenschap kwam samen voor een herdenkingsdag, waar overlevenden hun verhalen deelden en ouderen traditionele gebeden voor genezing uitvoerden."

Spaans: "La comunidad se reunió para un día conmemorativo, donde los sobrevivientes compartieron sus historias y los ancianos realizaron oraciones tradicionales para la sanación."

Hoewel technisch correct, hebben "overlevenden" en "sobrevivientes" een andere lading in de context van historisch trauma: in het Engels impliceert het vaak veerkracht en waardigheid, terwijl "sobrevivientes" de nadruk op slachtofferschap kan leggen. Ook verschilt "gebeden uitvoerden" van "realizaron oraciones" in eerbied: "uitvoerden" erkent de ceremoniële betekenis, terwijl "realizaron" procedureler kan klinken.

Extra - De weg naar conversationele nasynchronisatie

Voor een natuurlijk persoonlijk gesprek tussen mensen die niet dezelfde taal spreken, heb je vrijwel onmiddellijke vertaling nodig. 

Door de waarschijnlijkheden voor de voorspelling van het volgende token van LLM's te gebruiken, heb je een realtime model van de waarschijnlijkheid van hoe een zin verdergaat.

_{Afbeeldingsbron - Hugging Face "How to generate text"}

Als we dit model voor de voorspelling van het volgende token finetunen op een individuele spreker, krijgen we een redelijk beeld van wat diegene waarschijnlijk hierna gaat zeggen. Met die informatie kunnen we als het ware „valsspelen” door al te beginnen met vertaling en spraakgeneratie wanneer we er vrij zeker van zijn wat de spreker hierna gaat zeggen.

Vind je dit interessant en wil je met ons werken aan de toekomst van AI-audio? Bekijk hier onze vacatures.