Présentation du Modificateur de Voix

Voice Changer s'appelait à l'origine speech-to-speech. Dans le contexte des agents vocaux IA, « speech-to-speech » désigne également des architectures fusionnées où un seul modèle traite directement l'entrée et la sortie audio. ElevenAgents utilise une architecture en cascade avancée pour sa plateforme. En savoir plus : Modèles en cascade ou fusionnés.

Voice Changer

Nous avons ajouté Voice Changer à Speech Synthesis. Voice Changer est un outil de conversion vocale qui transforme l'enregistrement d'une voix pour la faire sonner comme si elle était prononcée par une autre, tout en préservant l'interprétation d'origine. Les émotions, le timing, le rythme et la prononciation que vous insufflez à l'enregistrement sont ainsi conservés dans la voix de sortie.

Vous bénéficiez ainsi d'un niveau de contrôle que les prompts de text-to-speech seuls ne permettent pas toujours d'atteindre. Vous pouvez l'utiliser de deux façons principales.

Donnez plus d'émotion à une voix. Toutes les voix ne réagissent pas aussi bien aux indications émotionnelles fournies par les prompts de text-to-speech. Voice Changer vous permet d'enregistrer ou d'importer une voix très expressive et de reproduire cette palette émotionnelle dans une autre voix. Si vous souhaitez qu'un narrateur professionnel ait un ton plus chaleureux ou qu'un personnage de livre pour enfants soit plus enjoué, vous pouvez interpréter vous-même le texte et laisser Voice Changer transférer cette interprétation vers la voix cible.

Affinez l'interprétation vocale. Nos modèles de text-to-speech gèrent généralement bien l'intonation dès le départ. Mais lorsque vous avez besoin d'un contrôle précis sur l'interprétation d'une phrase, l'emplacement de l'accentuation, l'effet d'une pause ou le rythme, Voice Changer vous permet de la démontrer avec votre propre voix, puis d'appliquer cette interprétation à la voix de votre choix. Cette fonction sera encore plus utile lorsque nous intégrerons directement Voice Changer à Studio, mais l'objectif reste le même : vous donner un contrôle précis sur votre résultat.

Voici une démonstration réalisée par l'un des membres de notre communauté :

Recherche

Pour convertir la parole source en parole cible, nous devons exprimer le contenu de la parole source avec les caractéristiques de la parole cible. Une analogie utile est l'échange de visages : des applications qui prennent deux visages et les fusionnent en intégrant les traits d'une personne dans la structure cartographiée d'une autre.

Pour ce faire, il faut prendre l'image d'un visage et cartographier ses attributs. Les repères de l'exemple ci-dessous remplissent précisément ce rôle : ils délimitent la zone dans laquelle l'autre visage serait rendu.

Le principe de la conversion vocale consiste à restituer le contenu de la parole source à l'aide des phonèmes de la parole cible. Mais cela implique un compromis, comme dans l'exemple d'échange de visages : plus vous utilisez de repères pour cartographier les attributs d'un visage, plus vous imposez de contraintes au visage que vous y intégrez. Moins de repères signifie moins de contraintes.

Il en va de même pour la conversion vocale. Plus nous privilégions la parole cible, plus nous risquons de nous désynchroniser de la parole source. Mais si nous ne lui accordons pas assez de priorité, nous risquons de perdre une grande partie de ce qui rend cette parole caractéristique. Par exemple, restituer l'enregistrement d'une personne criant de colère avec une voix chuchotée poserait problème. Accorder trop de priorité aux émotions de la parole source nous ferait perdre l'impression qu'une voix chuchotée parle. Mettre trop l'accent sur le schéma d'élocution chuchoté nous ferait perdre la charge émotionnelle de la parole source.

Produit et mises à jour récentes

Modifications des voix prédéfinies

Nous modifions les voix par défaut disponibles dans Speech Synthesis. Nous allons retirer certaines voix et les remplacer par de nouvelles, avec plus de 20 ajouts prévus dans les prochaines semaines.

Nous commencerons également à afficher dans l'interface la durée de disponibilité prévue pour chaque voix. Tout au long du mois de décembre, nous repenserons nos fonctionnalités de partage des voix et de rémunération liée à leur utilisation afin d'élargir la variété des voix. Plus de détails prochainement.

Eleven Turbo v2 et format uLaw 8 kHz

Turbo v2 est le résultat de plusieurs mois de recherche menés par notre équipe. Il est conçu pour les interactions en temps réel, mais convient à tous les cas d'usage. Il prend également en charge le format standard (m)uLaw 8 kHz pour les systèmes IVR.

Normalisation et métadonnées avec Studio

Studio prend désormais en charge les normes du secteur pour la soumission de livres audio, notamment l'ajustement du gain et la compression dynamique. Vous pouvez également intégrer directement des métadonnées, telles que l'ISBN, l'auteur et le titre, dans votre projet Studio.

Dictionnaire de prononciation

Il s'agit de l'une de nos fonctionnalités les plus demandées. Le mois dernier, nous avons ajouté la prise en charge des balises SSML permettant de spécifier la prononciation à l'aide des dictionnaires IPA et CMU avec nos modèles anglais. Nous avons désormais déployé la prise en charge des dictionnaires de prononciation dans l'interface de Studio, afin de vous permettre d'importer un fichier définissant la prononciation à l'aide de l'IPA, du CMU ou de substitutions de mots (alias). Les fichiers de dictionnaire utilisent le format ouvert standard du secteur .PLS de fichier lexique.

L'IPA et le CMU sont actuellement pris en charge par Turbo v2 English. Les substitutions de mots sont prises en charge par tous les modèles et toutes les langues. La documentation complète est disponible ici.

Si vous avez des retours, n'hésitez pas à nous contacter sur Discord.

Essayer Voice Changer

Dites-le comme vous le souhaitez et écoutez-le dans une voix totalement différente, avec un contrôle total sur l'interprétation. Capturez des chuchotements, des rires, des accents et de subtiles nuances émotionnelles.