ElevenLabs präsentiert mehrsprachige KI-Sprachtechnologie mit NVIDIA ACE auf der Computex

Wir haben uns mit NVIDIA, dem Pionier des beschleunigten Rechnens, zusammengetan, um neue Erlebnisse mit der menschenähnlichen KI-Sprachtechnologie von ElevenLabs zu bieten. Keynote-Präsentationen erforderten traditionell Live-Übersetzer oder Untertitel, um mehrere Sprachen zu unterstützen. Jetzt ermöglicht ElevenLabs mehrsprachige Keynotes, die die Stimmmerkmale des Sprechers mit seiner proprietären KI-Sprach- und Stimmklontechnologie bewahren.

NVIDIA-Gründer und CEO Jensen Huang erzählte mehrere Kapitel seiner Computex-Keynote sowohl auf Englisch als auch auf Mandarin mit einer KI-Stimme. Er konnte die KI-Stimme auf ElevenLabs in weniger als einer Stunde mit nur sieben Minuten aufgezeichnetem Audio erstellen. Diese Nutzung der synthetischen Sprachtechnologie in der Keynote markiert einen Wendepunkt: Sie macht Inhalte nicht nur einem breiteren Publikum zugänglich, sondern eröffnet auch Möglichkeiten für neue Erlebnisse, die zuvor unmöglich waren.

Über die Keynote hinaus arbeiten wir zusammen, um dynamische nicht spielbare Charaktere (NPCs) für Videospiele zu erstellen. Traditionell waren NPC-Interaktionen kurz und geskriptet. Jetzt können Entwickler menschenähnliche NPCs hinzufügen, die auf Spieler reagieren und sich anpassen, um ein immersiveres und realistischeres Erlebnis zu bieten.

NVIDIA ACE ist eine Suite von Technologien, um digitale Menschen mit generativer KI zum Leben zu erwecken.ACE NIM-Mikrodienste sind die Bausteine digitaler Menschen, KI-NPCs und interaktiver Avatare. Entwickler können einzelne oder alle ACE NIM-Mikrodienste direkt in ihre Produkte, Tools, Dienste oder Spiele und Erlebnisse integrieren.

Die Covert Protocol Tech-Demo nutzt die Voice-KI von ElevenLabs, um diese Interaktionen zu ermöglichen. Entwickler, Journalisten und Influencer, die es erlebt haben, haben hervorgehoben, wie realistisch und fesselnd diese Charaktere wirken. Ihre lebensechten Stimmen, die in Ton und Höhe variieren, wurden besonders für ihre Fähigkeit gelobt, die Spielerimmersion zu verbessern.

„Die Arbeit, die NVIDIA und ElevenLabs leisten, verändert unsere Interaktionen mit der Welt und den Inhalten, die erstellt werden können – von Echtzeit-Interaktionen und Gaming bis hin zu Präsentationen und Barrierefreiheit,“ sagt Mati Staniszewski, CEO und Mitbegründer von ElevenLabs.„NVIDIA hat die Infrastruktur für die generative KI-Revolution mit beschleunigtem Rechnen aufgebaut; wir entwickeln die Technologie, um lebensechte Inhalte in jeder Sprache auf skalierbare, emotionale und personalisierte Weise zu erzeugen“.