Voice Design - de eerste generatieve AI voor audio

Vorige maand kondigden we aan dat ons generatieve model voor stemcreatie eraan kwam. Het is eindelijk zover: het is het eerste model in zijn soort. We noemen het Voice Design. Met deze functie kun je vanaf nul nieuwe stemmen maken door hun belangrijkste kenmerken te selecteren, zoals gender, leeftijd en accent. Zelfs met dezelfde instellingen voor de kernparameters voegt ons model elke keer dat je op genereren klikt variatie toe, zodat elke stem die je hoort volledig uniek is. Voice Design maakt deel uit van onze bredere inspanning om uitgevers en creators te voorzien van veelzijdige AI-tools voor storytelling.

Voice Design

Het model achter Voice Design is grotendeels het resultaat van ons onderzoek naar spraaksynthese en stemklonen, al sprak het idee van een generatieve tool voor spraak ons ook los daarvan altijd al aan. We hebben al praktische toepassingen gezien voor generatieve text-to-image- en chatbotmodellen, maar een vergelijkbare tool voor audio ontbrak nog. Sinds onze lancering krijgen we verzoeken om meer sprekers aan onze bibliotheek toe te voegen. In plaats van de bibliotheek te vullen met ontelbare stemmen en je elke preview te laten beluisteren om te weten wie wie is, besloten we het om te draaien en jou de identiteit van de spreker te laten bepalen, met oneindige variatie binnen deze beperkingen.

Een zekere mate van controle over de stemkeuze was belangrijk, omdat onze gebruikers vaak specifieke spraakkenmerken voor hun scripts zoeken. Het was even cruciaal om ervoor te zorgen dat elke gegenereerde stem uniek is, aangezien veel use-cases exclusieve toegang tot een stem vereisen of daar in elk geval baat bij hebben. Naast een nieuwe creatieve uitlaatklep voor gebruikers, zijn stemmen die met Voice Design worden gegenereerd volledig kunstmatig en behoren ze niet toe aan echte personen.

Toepassingen

Naast het moeiteloos omzetten van tekst naar hoogwaardige audio met onze vertrouwde Speech Synthesis-tool kunnen boekauteurs Voice Design nu gebruiken om artistieke controle over de vertelling uit te oefenen en de persoonlijkheid van elk personage vorm te geven met stemmen op maat.

Nieuwsuitgevers die met audio aan de slag gaan, hebben stemmen nodig voor hun verhalen. Omdat vertellers worden geassocieerd met de publicaties die ze vertegenwoordigen, is het kiezen van de juiste voice-over een belangrijke taak die niet vaak wordt herhaald. Met Voice Design kunnen uitgevers vrijwel ontelbare vertellers direct kiezen en vergelijken. Het geeft hun ook de zekerheid dat een specifieke stem hen vertegenwoordigt, en alleen hen.

Gameontwikkelaars hoeven niet langer af te wegen of de opnamekosten voor een bepaald personage gerechtvaardigd zijn. Tienduizenden NPC's die voorheen stil waren, kunnen nu unieke persoonlijkheden hebben en de grenzen van virtuele immersie verleggen.

Of je nu een content creator bent die aan je volgende release werkt of een bedrijfsmedewerker die bedrijfscommunicatie van een stem wil voorzien: de mogelijkheden om levensechte, overtuigende audio te ontwerpen voor specifieke use-cases en doelgroepen zijn nu grenzeloos.

Ecosysteem

Voice Design is een van de meerdere functies voor het bewerken van vertellingen die we dit jaar willen introduceren. De volgende is Studio – onze nieuwe werkplek voor het structureren van grote teksten, pauzes invoegen, audiodelen opnieuw genereren en tekstdelen aan verschillende sprekers toewijzen. Studio komt eind maart beschikbaar en wordt later in het tweede kwartaal van dit jaar aangevuld met ondersteuning voor het bewerken van intonatie.