Présentation du Modificateur de Voix

Voice Changer s’appelait initialement « speech-to-speech ». Dans le contexte des agents vocaux IA, « speech-to-speech » désigne aussi des architectures fusionnées, dans lesquelles un seul modèle traite directement l’entrée et la sortie audio. ElevenAgents repose sur une architecture en cascade avancée pour sa plateforme. Modèles en cascade ou fusionnés.

Voice Changer

Nous avons ajouté Voice Changer à Speech Synthesis. Voice Changer est un outil de conversion vocale qui transforme l’enregistrement d’une voix pour lui donner l’impression d’être prononcé par une autre, tout en préservant l’interprétation d’origine. Les émotions, le timing, le rythme et la prononciation de votre enregistrement sont ainsi conservés dans la voix de sortie.

Vous bénéficiez ainsi d’un niveau de contrôle que les prompts de synthèse vocale ne permettent pas toujours d’atteindre à eux seuls. Il existe deux principales façons de l’utiliser.

Exprimez davantage d’émotions avec une voix. Toutes les voix ne répondent pas aussi bien aux indications émotionnelles données par des prompts de synthèse vocale. Voice Changer vous permet d’enregistrer ou d’importer une parole très expressive et de reproduire cette palette émotionnelle dans une autre voix. Si vous souhaitez qu’un narrateur professionnel adopte un ton plus chaleureux ou qu’un personnage de livre pour enfants soit plus enjoué, vous pouvez interpréter vous-même le texte et laisser Voice Changer transférer cette interprétation vers la voix cible.

Affinez l’interprétation vocale. Nos modèles de synthèse vocale gèrent généralement bien l’intonation dès le départ. Mais lorsque vous avez besoin d’un contrôle précis sur l’interprétation d’une phrase, sur l’emplacement de l’accentuation, la durée d’une pause ou le rythme, Voice Changer vous permet de la démontrer avec votre propre voix, puis d’appliquer cette interprétation à la voix de votre choix. Cette fonctionnalité sera encore plus utile lorsque nous intégrerons directement Voice Changer à Studio, mais l’objectif reste le même : vous offrir un contrôle précis sur votre résultat.

Voici une démonstration réalisée par un membre de notre communauté :

Recherche

Pour convertir la parole source en parole cible, nous devons exprimer le contenu de la parole source avec les caractéristiques de la parole cible. Une analogie utile est l’échange de visages : des applications qui prennent deux visages et les fusionnent, en intégrant les traits d’une personne dans la structure cartographiée d’une autre.

Pour y parvenir, nous prenons l’image d’un visage et cartographions ses attributs. Les repères de l’exemple ci-dessous ont précisément ce rôle : ils délimitent la zone dans laquelle l’autre visage serait intégré.

L’enjeu de la conversion vocale consiste à restituer le contenu de la parole source à l’aide des phonèmes de la parole cible. Mais cela implique un compromis, comme dans l’exemple de l’échange de visages : plus vous utilisez de repères pour cartographier les attributs d’un visage, plus vous imposez de contraintes au visage intégré dans cette structure. Moins de repères signifie moins de contraintes.

Il en va de même pour la conversion vocale. Plus nous privilégions la parole cible, plus nous risquons de nous désynchroniser de la parole source. Mais si nous ne la privilégions pas suffisamment, nous risquons de perdre une grande partie de ce qui caractérise cette parole. Par exemple, restituer l’enregistrement d’une personne criant de colère avec une voix chuchotée poserait problème. Si nous privilégions trop les émotions de la parole source, nous perdons l’impression qu’une voix chuchotée parle. Si nous mettons trop l’accent sur le modèle de parole chuchotée, nous perdons la charge émotionnelle de la parole source.

Produit et mises à jour récentes

Modifications des voix prêtes à l’emploi

Nous apportons des modifications aux voix par défaut disponibles dans Speech Synthesis. Nous allons retirer certaines voix et les remplacer par de nouvelles, avec plus de 20 ajouts prévus dans les semaines à venir.

Nous commencerons également à afficher dans l’interface la durée de disponibilité prévue pour chaque voix. Tout au long du mois de décembre, nous repenserons nos fonctionnalités de partage des voix et de rémunération de leur utilisation afin d’améliorer la diversité des voix. Plus de détails prochainement.

Eleven Turbo v2 et format uLaw 8 kHz

Turbo v2 est le résultat de plusieurs mois de recherche menés par notre équipe. Il est conçu pour les interactions en temps réel, mais convient à tous les cas d’usage. Il prend également en charge le format standard (m)uLaw 8 kHz pour les systèmes SVI.

Normalisation et métadonnées avec Studio

Studio prend désormais en charge les normes du secteur pour la soumission de livres audio, notamment l’ajustement du gain et la compression dynamique. Vous pouvez également intégrer directement des métadonnées, telles que l’ISBN, l’auteur et le titre, dans votre projet Studio.

Dictionnaire de prononciation

Il s’agit de l’une de nos fonctionnalités les plus demandées. Le mois dernier, nous avons ajouté la prise en charge des balises SSML pour spécifier la prononciation à l’aide des dictionnaires IPA et CMU avec nos modèles anglais. Nous avons désormais intégré la prise en charge des dictionnaires de prononciation dans l’interface de Studio, ce qui vous permet d’importer un fichier définissant la prononciation à l’aide de l’IPA, du CMU ou de substitutions de mots, c’est-à-dire des alias. Les fichiers de dictionnaire utilisent le format ouvert standard .PLS de fichier lexique.

L’IPA et le CMU sont actuellement pris en charge par Turbo v2 English. Les substitutions de mots sont prises en charge par tous les modèles et dans toutes les langues. Retrouvez la documentation complète ici.

Si vous avez des retours, n’hésitez pas à nous contacter sur Discord.

Essayez Voice Changer

Dites-le comme vous le souhaitez et écoutez-le dans une voix totalement différente, avec un contrôle total sur l’interprétation. Capturez les chuchotements, les rires, les accents et les nuances émotionnelles subtiles.