ElevenLabs präsentiert mehrsprachige KI-Sprachtechnologie mit NVIDIA ACE auf der Computex

Wir arbeiten mit NVIDIA, dem Pionier für beschleunigtes Computing, zusammen, um mit der menschenähnlichen KI-Stimmtechnologie von ElevenLabs neue Erlebnisse zu schaffen. Für Keynote-Präsentationen waren bisher meist Live-Übersetzer oder Untertitel erforderlich, um mehrere Sprachen zu unterstützen. Jetzt ermöglicht ElevenLabs mehrsprachige Keynotes, die die Stimmmerkmale der Sprecher mit eigener KI-Sprach- und KI-Stimme-klonen-Technologie bewahren. 

NVIDIA-Gründer und CEO Jensen Huang sprach mehrere Abschnitte seiner Computex-Keynote auf Englisch und Mandarin mit einer KI-Stimme ein. Mit nur sieben Minuten aufgezeichnetem Audiomaterial konnte er die KI-Stimme in weniger als einer Stunde auf ElevenLabs erstellen. Der Einsatz synthetischer Stimmtechnologie in der Keynote markiert einen Wendepunkt: Inhalte werden nicht nur für ein breiteres Publikum zugänglich, sondern es entstehen auch neue Erlebnisse, die zuvor nicht möglich waren.

Über die Keynote hinaus arbeiten wir zusammen, um dynamische nicht spielbare Charaktere (NPCs) für Videospiele zu entwickeln. Bisher waren NPC-Interaktionen meist kurz und vorgegeben. Jetzt können Entwickler menschenähnliche NPCs hinzufügen, die auf Spieler reagieren und sich ihnen anpassen. Das sorgt für ein immersiveres und realistischeres Erlebnis. 

NVIDIA ACE ist eine Suite von Technologien, die digitale Menschen mit generativer KI zum Leben erwecken. ACE-NIM-Microservices sind die Bausteine für digitale Menschen, KI-NPCs und interaktive Avatare. Entwickler können einzelne oder alle ACE-NIM-Microservices direkt in ihre Produkte, Tools, Services, Spiele und Erlebnisse integrieren. 

Die Covert-Protocol-Tech-Demo nutzt die Voice AI von ElevenLabs für diese Interaktionen. Entwickler, Journalisten und Influencer, die sie erlebt haben, betonen, wie realistisch und fesselnd diese Charaktere wirken. Besonders gelobt werden ihre lebensechten Stimmen, die sich in Ton und Tonhöhe unterscheiden und die Immersion der Spieler verstärken.

„Die Arbeit von NVIDIA und ElevenLabs verändert unsere Interaktionen mit der Welt und die Inhalte, die erstellt werden können – von Echtzeitinteraktionen und Gaming bis hin zu Präsentationen und Barrierefreiheit“, sagt Mati Staniszewski, CEO und Mitgründer von ElevenLabs. „NVIDIA hat mit beschleunigtem Computing die Infrastruktur für die Revolution der generativen KI geschaffen. Wir entwickeln die Technologie, um lebensechte Inhalte in jeder Sprache skalierbar, emotional und personalisiert zu erzeugen.“