Introductie van Voice Changer

Voice Changer heette oorspronkelijk speech-to-speech. In de context van AI-stemagenten, verwijst "speech-to-speech" ook naar fused architecturen waarin één model audio-invoer en -uitvoer rechtstreeks verwerkt. ElevenAgents gebruikt een geavanceerde cascaded architectuur voor zijn platform. Meer informatie: Cascaded vs Fused models.

Voice Changer

We hebben Voice Changer toegevoegd aan Speech Synthesis. Voice Changer is een tool voor stemconversie die een opname van één stem omzet zodat deze klinkt alsof die door een andere stem is uitgesproken, terwijl de oorspronkelijke uitvoering behouden blijft. Dat betekent dat de emoties, timing, snelheid en uitspraak die je in de opname legt, worden overgedragen naar de uitvoerstem.

Dit geeft je een mate van controle die je met alleen text-to-speech-prompts niet altijd kunt bereiken. Je kunt het op twee manieren gebruiken.

Haal meer emotie uit een stem. Niet alle stemmen reageren even goed op emotionele aanwijzingen via text-to-speech-prompts. Met Voice Changer kun je zeer expressieve spraak opnemen of uploaden en dat emotionele bereik in een andere stem reproduceren. Als je een professionele verteller warmer wilt laten klinken of een personage uit een kinderboek speelser, kun je de tekst zelf inspreken en Voice Changer die uitvoering naar de doelstem laten overbrengen.

Verfijn de manier waarop spraak wordt uitgesproken. Onze text-to-speech-modellen gaan doorgaans standaard goed om met intonatie. Maar als je precieze controle nodig hebt over hoe een specifieke zin wordt uitgesproken – waar de nadruk ligt, hoe een pauze valt, hoe het ritme klinkt – kun je dit met Voice Changer in je eigen stem laten horen en die uitvoering vervolgens toepassen op elke stem die je kiest. Dit wordt nog nuttiger zodra we Voice Changer rechtstreeks in Studio integreren, maar het doel blijft hetzelfde: je precieze controle geven over je output.

Hier is een uitleg van een van onze communityleden:

Onderzoek

Om bronspraak om te zetten in doelspraak, moeten we de inhoud van de bronspraak weergeven met de kenmerken van de doelspraak. Een bruikbare vergelijking is face-swapping: apps die twee gezichten nemen en ze samenvoegen, waarbij de kenmerken van de ene persoon worden weergegeven binnen de toegewezen structuur van de andere.

Hiervoor neem je de afbeelding van een gezicht en breng je de kenmerken ervan in kaart. De markeringen in het voorbeeld hieronder doen precies dat: ze vormen de grenzen waarbinnen het andere gezicht zou worden weergegeven.

De kunst van stemconversie is om de inhoud van bronspraak weer te geven met de fonemen van doelspraak. Maar hierbij is sprake van een afweging, net als in het face-swapping-voorbeeld: hoe meer markeringen je gebruikt om de kenmerken van een gezicht in kaart te brengen, hoe meer beperkingen je oplegt aan het gezicht dat je daarbinnen weergeeft. Minder markeringen betekent minder beperkingen.

Hetzelfde geldt voor stemconversie. Hoe meer prioriteit we geven aan doelspraak, hoe groter het risico dat we niet meer synchroon lopen met bronspraak. Maar als we er niet genoeg prioriteit aan geven, lopen we het risico veel te verliezen van wat die spraak kenmerkend maakt. Als we bijvoorbeeld een opname van iemand die boos schreeuwt zouden weergeven met een fluisterende stem, zouden we in de problemen komen. Geef te veel prioriteit aan de emoties van de bronspraak en we verliezen de indruk dat een fluisterende stem spreekt. Leg te veel nadruk op het fluisterende spraakpatroon en we verliezen de emotionele lading van de bronspraak.

Product en recente updates

Wijzigingen in vooraf gemaakte stemmen

We brengen wijzigingen aan in de standaardstemmen die beschikbaar zijn in Speech Synthesis. We stoppen met een aantal stemmen en vervangen ze door nieuwe, met meer dan 20 toevoegingen gepland voor de komende weken.

We gaan ook in de UI informatie tonen over hoe lang elke stem naar verwachting beschikbaar blijft. In december vernieuwen we onze functies voor het delen van stemmen en gebruiksvergoeding om de verscheidenheid aan stemmen te verbeteren. Binnenkort meer details.

Eleven Turbo v2 & uLaw 8kHz-formaat

Turbo v2 is het resultaat van maandenlang onderzoek door ons team. Het is ontworpen voor realtime-interacties, maar werkt voor elke toepassing. Het ondersteunt ook het standaard (m)uLaw 8kHz-formaat voor IVR-systemen.

Normalisatie en metadata met Studio

Studio ondersteunt nu richtlijnen voor het indienen van luisterboeken volgens industriestandaarden, waaronder gainaanpassing en dynamische compressie. Je kunt ook metadata (ISBN, auteur en titel) rechtstreeks in je Studio-project insluiten.

Uitspraakwoordenboek

Dit is een van onze meest gevraagde functies. Vorige maand hebben we ondersteuning toegevoegd voor SSML-tags om de uitspraak op te geven met de IPA- en CMU-woordenboeken in onze Engelse modellen. We hebben nu ondersteuning uitgebracht voor uitspraakwoordenboeken in de Studio-UI, zodat je een bestand kunt uploaden waarin de uitspraak wordt opgegeven met IPA, CMU of woordvervangingen (aliassen). Woordenboekbestanden gebruiken het open .PLS-lexiconbestandsformaat volgens de industriestandaard.

IPA en CMU worden momenteel ondersteund door Turbo v2 English. Woordvervangingen worden ondersteund door alle modellen en talen. De volledige documentatie is beschikbaar hier.

Heb je feedback? Neem dan gerust contact met ons op via Discord!

Probeer Voice Changer

Zeg het zoals je wilt en hoor het in een volledig andere stem, met volledige controle over de uitvoering. Leg gefluister, gelach, accenten en subtiele emotionele nuances vast.