ElevenLabs präsentiert mehrsprachige KI-Sprachtechnologie mit NVIDIA ACE auf der Computex

Wir arbeiten mit NVIDIA, dem Pionier des beschleunigten Rechnens, zusammen, um mit der menschenähnlichen KI-Stimmtechnologie von ElevenLabs neue Erlebnisse zu schaffen. Keynote-Präsentationen erforderten bisher meist Live-Übersetzer oder Untertitel, um mehrere Sprachen abzudecken. Jetzt ermöglicht ElevenLabs mehrsprachige Keynotes, die die Stimmmerkmale der Sprecher bewahren – mit eigener KI-Sprachtechnologie und KI-Stimme klonen-Technologie. 

NVIDIA-Gründer und CEO Jensen Huang sprach mehrere Abschnitte seiner Computex-Keynote sowohl auf Englisch als auch auf Mandarin mit einer KI-Stimme ein. Er erstellte die KI-Stimme in weniger als einer Stunde auf ElevenLabs – mit nur sieben Minuten aufgenommenem Audiomaterial. Der Einsatz synthetischer Sprachtechnologie in der Keynote markiert einen Wendepunkt: Inhalte werden nicht nur für ein breiteres Publikum zugänglicher, sondern es entstehen auch neue Erlebnisse, die bisher nicht möglich waren.

Über die Keynote hinaus arbeiten wir zusammen, um dynamische nicht spielbare Charaktere (NPCs) für Videospiele zu entwickeln. Traditionell waren Interaktionen mit NPCs kurz und geskriptet. Jetzt können Entwickler menschenähnliche NPCs hinzufügen, die auf Spieler reagieren und sich ihnen anpassen. Das schafft ein immersiveres, realistischeres Erlebnis. 

NVIDIA ACE ist eine Technologie-Suite, die digitale Menschen mit generativer KI zum Leben erweckt. ACE-NIM-Microservices sind die Bausteine digitaler Menschen, KI-NPCs und interaktiver Avatare. Entwickler können einzelne oder alle ACE-NIM-Microservices direkt in ihre Produkte, Tools, Services, Spiele und Erlebnisse integrieren. 

Die Tech-Demo Covert Protocol nutzt die Voice AI von ElevenLabs für diese Interaktionen. Entwickler, Journalisten und Influencer, die sie erlebt haben, betonen, wie realistisch und fesselnd diese Charaktere wirken. Besonders gelobt werden ihre lebensechten Stimmen, die in Ton und Tonhöhe variieren und die Immersion der Spieler verstärken.

„Die Arbeit von NVIDIA und ElevenLabs verändert unsere Interaktionen mit der Welt und die Inhalte, die erstellt werden können – von Echtzeitinteraktionen und Gaming bis hin zu Präsentationen und Barrierefreiheit“, sagt Mati Staniszewski, CEO und Mitgründer von ElevenLabs. „NVIDIA hat mit beschleunigtem Rechnen die Infrastruktur für die Revolution der generativen KI geschaffen; wir entwickeln die Technologie, um lebensechte Inhalte in jeder Sprache skalierbar, emotional und personalisiert zu generieren.“