ElevenLabs demonstreert meertalige AI-stemtechnologie met NVIDIA ACE op Computex

We werken samen met NVIDIA, de pionier op het gebied van accelerated computing, om nieuwe ervaringen mogelijk te maken met de mensachtige AI-stemtechnologie van ElevenLabs. Voor keynote-presentaties waren traditioneel livevertalers of ondertiteling nodig om meerdere talen te ondersteunen. Nu maakt ElevenLabs meertalige keynotes mogelijk die de stemkenmerken van de spreker behouden met behulp van onze eigen AI-spraak- en stemklonentechnologie. 

NVIDIA-oprichter en CEO Jensen Huang sprak verschillende delen van zijn Computex-keynote in het Engels en Mandarijn in met behulp van een AI-stem. Hij kon de AI-stem in minder dan een uur op ElevenLabs maken met slechts zeven minuten opgenomen audio. Dit gebruik van synthetische stemtechnologie in de keynote markeert een keerpunt: het maakt content niet alleen toegankelijker voor een breder publiek, maar biedt ook mogelijkheden voor nieuwe ervaringen die voorheen onmogelijk waren.

Naast de keynote werken we samen aan dynamische non-playable characters (NPC's) voor videogames. Traditioneel waren interacties met NPC's kort en gescript. Ontwikkelaars kunnen nu mensachtige NPC's toevoegen die reageren op en zich aanpassen aan gamers, voor een meeslependere en levensechtere ervaring. 

NVIDIA ACE is een reeks technologieën waarmee digitale mensen tot leven worden gebracht met generatieve AI. ACE NIM-microservices vormen de bouwstenen voor digitale mensen, AI-NPC's en interactieve avatars. Ontwikkelaars kunnen afzonderlijke – of alle – ACE NIM-microservices rechtstreeks integreren in hun producten, tools, services, games en ervaringen. 

De Covert Protocol-techdemo gebruikt de voice AI van ElevenLabs om die interacties mogelijk te maken. Ontwikkelaars, journalisten en influencers die de demo hebben ervaren, benadrukten hoe realistisch en boeiend deze personages aanvoelen. Hun levensechte stemmen, die variëren in toon en toonhoogte, werden vooral geprezen vanwege hun vermogen om de immersie van spelers te vergroten.

“Het werk van NVIDIA en ElevenLabs verandert onze interacties met de wereld en de content die kan worden gemaakt – van realtime interacties en gaming tot presentaties en toegankelijkheid,” zegt Mati Staniszewski, CEO en medeoprichter van ElevenLabs. “NVIDIA heeft met accelerated computing de infrastructuur voor de revolutie in generatieve AI gebouwd; wij bouwen technologie om levensechte content te genereren in elke taal, op een schaalbare, emotionele en gepersonaliseerde manier.”