Introductie van Eleven Multilingual v1: ons nieuwe spraaksynthesemodel

Vandaag lanceren we met veel enthousiasme Eleven Multilingual v1: ons geavanceerde spraaksynthesemodel dat zeven nieuwe talen ondersteunt: Frans, Duits, Hindi, Italiaans, Pools, Portugees, en Spaans. Voortbouwend op het onderzoek achter Eleven Monolingual v1 maakt onze huidige deep learning-aanpak gebruik van meer data, meer rekenkracht en nieuwe technieken binnen een steeds geavanceerder model. Het model begrijpt tekstuele nuances en levert emotioneel rijke spraak. Deze vooruitgang verruimt de creatieve mogelijkheden voor creators, gameontwikkelaars en uitgevers, en maakt de weg vrij voor generatieve media waarmee zij meer gelokaliseerde, toegankelijke en fantasierijke content kunnen maken.

Het nieuwe model is beschikbaar in alle abonnementen en je kunt het nu uitproberen op ons Beta-platform.

Selecteer het model in het nieuw toegevoegde dropdownmenu in het Speech Synthesis-paneel om het te gebruiken.

Overzicht van het onderzoek

Net als zijn voorganger is het nieuwe model volledig gebaseerd op ons eigen onderzoek. Het behoudt alle sterke punten die Eleven Monolingual v1 tot een uitstekend hulpmiddel voor storytelling maakten, zoals de mogelijkheid om de voordracht aan te passen aan de context en intentie en emoties zeer realistisch over te brengen. Deze functies zijn nu via training met meertalige data uitgebreid naar nieuw ondersteunde talen.

Een opvallende functie van het model is dat het meertalige tekst kan herkennen en passend kan uitspreken. Je kunt nu spraak in meerdere talen genereren met één prompt en daarbij de unieke stemkenmerken van elke spreker behouden. Voor de beste resultaten raden we aan een prompt in één taal te gebruiken. Hoewel het model al redelijk goed met meerdere talen tegelijk overweg kan, zijn verdere verbeteringen nodig.

Het nieuwe model is compatibel met andere VoiceLab-functies, zoals Instant Voice Cloning en Voice Design. Alle gemaakte stemmen behouden naar verwachting de meeste van hun oorspronkelijke spraakeigenschappen in alle talen, waaronder hun oorspronkelijke accent.

Het model heeft echter bekende beperkingen: cijfers, afkortingen en vreemde woorden worden soms standaard in het Engels uitgesproken wanneer je een prompt in een andere taal gebruikt. Zo kunnen het getal "11" of het woord “radio” in een Spaanse prompt worden uitgesproken zoals in het Engels. We raden aan afkortingen en getallen voluit te schrijven in de doeltaal terwijl we aan verbeteringen werken.

Democratisering van stemmen

ElevenLabs is opgericht met de droom om alle content universeel toegankelijk te maken, in elke taal en met elke stem. Onze teamleden komen uit heel Europa, Azië en de VS. Nu ons team en de wereld steeds meertaliger worden, staan we meer dan ooit samen achter de visie om menselijke AI-stemmen in elke taal beschikbaar te maken.

De nieuwste versie van ons Text-to-Speech (TTS)-model is slechts de eerste stap op weg naar het realiseren van deze visie. Met de komst van menselijke AI-stemmen kunnen gebruikers en bedrijven nu audiocontent maken en aanpassen aan hun behoeften, prioriteiten en voorkeuren. Dit heeft al laten zien dat het speelveld gelijkwaardiger kan worden voor creators, kleine bedrijven en onafhankelijke artiesten. Met AI-audio kunnen gebruikers hoogwaardige luisterervaringen ontwikkelen die kunnen wedijveren met die van grotere organisaties met meer middelen.

Die voordelen gelden nu ook voor meertalige, multiculturele en educatieve toepassingen. Ze stellen gebruikers, bedrijven en instellingen in staat om authentieke audio te produceren die een breder publiek aanspreekt. Door een uitgebreid aanbod van stemmen, accenten en talen te bieden, helpt AI culturele verschillen te overbruggen en bevordert het wereldwijd begrip. Bij Eleven geloven we dat deze nieuwe toegankelijkheid uiteindelijk leidt tot meer creativiteit, innovatie en diversiteit.

Contentcreators die een divers publiek willen bereiken hebben nu de tools om culturele verschillen te overbruggen en inclusiviteit te bevorderen.

Gameontwikkelaars en uitgevers kunnen meeslepende, gelokaliseerde ervaringen creëren voor een internationaal publiek. Zo overbruggen ze taalbarrières en verbinden ze spelers en luisteraars, voor maximale betrokkenheid en efficiëntie zonder verlies van kwaliteit of nauwkeurigheid.

Onderwijsinstellingen beschikken nu over de middelen om audiocontent te maken voor verschillende gebruikers in hun doeltalen. Daarmee versterken ze taalbegrip en zelfs uitspraakvaardigheden, en spelen ze in op verschillende lesstijlen en leerbehoeften.

Toegankelijkheidsinstituten kunnen mensen met een visuele beperking of leerproblemen nu nog beter ondersteunen. Ze bieden middelen om minder toegankelijke bronnen eenvoudig om te zetten naar een medium dat aansluit bij hun behoeften, zowel qua inhoud als vorm.

We kunnen niet wachten om te zien hoe onze huidige en toekomstige creators en ontwikkelaars de grenzen van het mogelijke verleggen!