De eerste AI die kan lachen

In ons vorige artikel lieten we enkele langere voorbeelden zien die met onze tool voor spraaksynthese zijn gegenereerd. Ook gaven we een kort overzicht van hoe het unieke ontwerp van ons model ervoor zorgt dat het goed getimede, niet-robotische spraak produceert. Vandaag laten we je zien dat het ook emotioneel rijker is en meer oog heeft voor context dan alle andere. Daardoor is het niet alleen bijzonder boeiend om naar te luisteren, maar ook zeer geschikt voor toepassingen van boeken en videogames van stemmen voorzien tot reclame.

Emoties

De twee sterke punten van ons model – vloeiendheid en de juiste intonatie – komen voort uit de grote hoeveelheid trainingsdata die het heeft verwerkt (meer dan 500.000 uur!), maar de doorslaggevende factor is hoe het van die data leert, en dat hangt samen met de manier waarop het is gebouwd. In de kern is het gemaakt om de emoties in geschreven tekst te begrijpen en te bepalen of de spreker blij, boos, verdrietig of neutraal moet klinken. Bekijk een paar voorbeelden:

Alle verschillen in intonatie en stemming komen uitsluitend voort uit de tekst – niets anders heeft de output beïnvloed. Interpunctie en de betekenis van woorden spelen een belangrijke rol bij de manier waarop een zin wordt uitgesproken. Let er ook op hoe het model, wanneer de spreker blij is met de overwinning, overtuigend geluiden produceert die geen onderdeel zijn van gewone spraak, zoals lachen (we brengen binnenkort een compilatie uit van de verschillende soorten gelach waartoe onze AI in staat is!). Ook versterkt het de reactie passend wanneer de spreker iets hilarisch vindt – het is ‘zooooo grappig’.

Context

Maar de betekenis van afzonderlijke woorden kennen is niet genoeg. Ons model is net zo gevoelig voor de bredere situatie rond elke uiting: het beoordeelt of iets logisch is aan de hand van de samenhang met de voorgaande en volgende tekst. Dankzij dit bredere perspectief kan het langere fragmenten goed intoneren door een gedachtegang die zich over meerdere zinnen uitstrekt te voorzien van een samenhangend emotioneel patroon, zoals we lieten zien in ons vorige artikel met langere content. Het helpt ook om logische fouten te voorkomen. Sommige woorden worden bijvoorbeeld op dezelfde manier geschreven, maar hebben een andere betekenis, zoals ‘read’ in de tegenwoordige en verleden tijd of ‘minute’ als tijdseenheid of als iets kleins. Welke betekenis op welk moment juist is, hangt af van de context:

Geschreven versus gesproken woord

Omdat we ons platform ontwerpen voor de vereisten van langere content, moet ons model ook begrijpen dat symbolen, afkortingen en bepaalde conventies die gebruikelijk zijn in geschreven tekst op een specifieke manier moeten worden uitgesproken, of niet letterlijk moeten worden uitgesproken. Het model moet bijvoorbeeld weten dat FBI, TNT en ATM anders worden uitgesproken dan UNESCO of NASA. Ook is $3tr prima in geschreven tekst, maar hardop gelezen moet dat ‘drie biljoen dollar’ worden.

Menselijke tussenkomst

Het herkennen van deze subtiele verschillen is cruciaal, omdat ons doel is de behoefte aan menselijke tussenkomst in het generatieproces te minimaliseren. We benadrukken immers niet dat onze tool in enkele minuten een luisterboek kan genereren om vervolgens iemand de volledige audio te laten beluisteren en de hele tekst te laten herschrijven. Hoewel we de uitspraakregels van ons model voortdurend bijwerken, kan iets het model altijd in verwarring brengen. Daarom ontwikkelen we nu een systeem dat onzekerheid markeert, zodat gebruikers direct kunnen zien welke tekstdelen het model problematisch vond en het kunnen leren hoe ze uitgesproken moeten worden.

Talloze toepassingen

Alle mogelijkheden die we hebben laten zien, zijn stappen op weg naar software die de meest veelzijdige AI-tool voor voice-overs wordt.

Nieuwsuitgevers hebben al ontdekt dat een grotere audiopresentie een goede manier is om abonnees te behouden. Het grote voordeel van elk artikel voorzien van een audioversie is dat mensen kunnen luisteren terwijl ze iets anders doen. Uitgevers die dit doen, gebruiken vaak stemacteurs, wat duur is, en niet alle artikelen komen aan bod. Of ze laten hun eigen verslaggevers verhalen voorlezen, wat veel tijd kost en dus ook duur is. Wie synthetische spraak gebruikt om content van stemmen te voorzien, bespaart geld maar levert in op kwaliteit. Met ElevenLabs hoef je geen compromissen te sluiten en krijg je het beste van twee werelden.

Stel je ook voor dat je luisterboeken genereert met onderscheidende, emotioneel aansprekende voice-overs voor alle personages, in slechts enkele minuten. Dit biedt niet alleen nieuwe manieren om boeken te beleven, maar maakt ze ook veel toegankelijker voor mensen met leerproblemen.

Denk eens aan de mogelijkheden die nu openstaan voor videogameontwikkelaars. Zij hoeven niet langer af te wegen of een bepaald personage belangrijk genoeg is om de anders aanzienlijke kosten te rechtvaardigen van een voice-over door echte acteurs. Alle NPC's kunnen nu een eigen stem en persoonlijkheid hebben.

Reclamebureaus en producenten kunnen nu vrij experimenteren en voice-overs aanpassen aan de toon van elke campagne – of het nu gaat om een sportzender of een luxehorlogemerk. De stem van elke acteur kan in licentie worden gegeven voor klonen, zodat wijzigingen direct kunnen worden toegepast zonder dat de acteur fysiek aanwezig hoeft te zijn. En kiezen ze voor een volledig synthetische stem, dan hoeven adverteerders zich ook geen zorgen te maken over het afkopen van stemrechten.

Virtuele assistenten kunnen levensechter worden, zowel omdat stemklonen hen in staat stelt te spreken met een stem die een specifieke gebruiker kent, als omdat deze nieuwe diepgang in de spreekstijl de interactie natuurlijker maakt.

ElevenLabs Beta

Ga hierheen om je te registreren voor ons bètaplatform en het zelf te proberen. We verbeteren voortdurend en alle feedback van gebruikers is voor ons in deze vroege fase erg waardevol. Veel plezier!