Presentamos Cambiador de Voz

Cambiador de Voz se llamaba originalmente voz a voz. En el contexto de agentes de voz IA, «voz a voz» también se refiere a arquitecturas fusionadas en las que un único modelo procesa directamente la entrada y la salida de audio. ElevenAgents utiliza una arquitectura en cascada avanzada en su plataforma. Más información: Modelos en cascada frente a modelos fusionados.

Cambiador de Voz

Hemos añadido Cambiador de Voz a Síntesis de Voz. Cambiador de Voz es una herramienta de conversión de voz que toma una grabación de una voz y hace que suene como si la hubiera dicho otra, conservando la interpretación original. Esto significa que las emociones, el ritmo, la cadencia y la pronunciación que aportas a la grabación se trasladan a la voz de salida.

Esto te ofrece un nivel de control que las indicaciones de texto a voz por sí solas no siempre pueden lograr. Hay dos formas principales de usarlo.

Extrae más emoción de una voz. No todas las voces responden igual de bien a las indicaciones emocionales mediante prompts de texto a voz. Cambiador de Voz te permite grabar o subir una locución muy expresiva y reproducir ese rango emocional con otra voz. Si necesitas que un narrador profesional suene más cálido o que un personaje de un libro infantil parezca más juguetón, puedes interpretar tú mismo la entonación y hacer que Cambiador de Voz la transfiera a la voz de destino.

Ajusta con precisión la entonación. Nuestros modelos de texto a voz suelen manejar bien la entonación desde el principio. Pero cuando necesitas controlar con precisión cómo se pronuncia una frase concreta —dónde recae el énfasis, cómo encaja una pausa o qué cadencia tiene—, Cambiador de Voz te permite demostrarlo con tu propia voz y aplicar después esa entonación a la voz que elijas. Esto será aún más útil cuando integremos Cambiador de Voz directamente en Studio, pero el objetivo es el mismo: darte un control preciso sobre el resultado.

Aquí tienes una guía de uno de los miembros de nuestra comunidad:

Investigación

Para convertir la voz de origen en voz de destino, debemos expresar el contenido de la voz de origen con las características de la voz de destino. Una analogía útil es el intercambio de caras: aplicaciones que toman dos rostros y los combinan, representando los rasgos de una persona dentro de la estructura mapeada de otra.

Para hacerlo, se toma la imagen de un rostro y se mapean sus atributos. Los marcadores del ejemplo siguiente hacen precisamente eso: delimitan el espacio dentro del cual se representaría el otro rostro.

La clave de la conversión de voz es representar el contenido de la voz de origen utilizando los fonemas de la voz de destino. Pero aquí hay una contrapartida, igual que en el ejemplo del intercambio de caras: cuantos más marcadores uses para mapear los atributos de un rostro, más restricciones impones al rostro que mapeas dentro de ellos. Menos marcadores implica menos restricciones.

Lo mismo ocurre con la conversión de voz. Cuanta más prioridad demos a la voz de destino, mayor será el riesgo de que deje de estar sincronizada con la voz de origen. Pero si no le damos suficiente prioridad, corremos el riesgo de perder gran parte de lo que hace característica a esa voz. Por ejemplo, si representáramos la grabación de alguien gritando enfadado con una voz susurrante, tendríamos un problema. Si damos demasiada prioridad a las emociones de la voz de origen, el precio es perder la impresión de que habla una voz susurrante. Si damos demasiado énfasis al patrón de habla susurrante, perdemos la carga emocional de la voz de origen.

Producto y actualizaciones recientes

Cambios en las voces prediseñadas

Estamos realizando cambios en las voces predeterminadas disponibles en Síntesis de Voz. Retiraremos algunas voces y las sustituiremos por otras nuevas, con más de 20 incorporaciones previstas para las próximas semanas.

También empezaremos a mostrar en la interfaz información sobre el tiempo que se prevé que cada voz siga disponible. A lo largo de diciembre, renovaremos nuestras funciones para compartir voces y compensar su uso con el fin de mejorar la variedad de voces. Pronto habrá más detalles.

Eleven Turbo v2 y formato uLaw de 8 kHz

Turbo v2 es el resultado de meses de investigación de nuestro equipo. Está diseñado para interacciones en tiempo real, pero funciona para cualquier caso de uso. También admite el formato estándar (m)uLaw de 8 kHz para sistemas IVR.

Normalización y metadatos con Studio

Studio ahora admite las directrices estándar del sector para el envío de audiolibros, incluidos el ajuste de ganancia y la compresión dinámica. También puedes integrar metadatos (ISBN, autor y título) directamente en tu proyecto de Studio.

Diccionario de pronunciación

Esta ha sido una de las funciones más solicitadas. El mes pasado añadimos compatibilidad con etiquetas SSML para especificar la pronunciación mediante los diccionarios IPA y CMU en nuestros modelos en inglés. Ahora hemos incorporado compatibilidad con el diccionario de pronunciación en la interfaz de Studio, lo que te permite subir un archivo que especifique la pronunciación mediante IPA, CMU o sustituciones de palabras (alias). Los archivos de diccionario utilizan el estándar abierto del sector .PLS de formato de archivo de léxico.

Actualmente, IPA y CMU son compatibles con Turbo v2 English. Las sustituciones de palabras son compatibles con todos los modelos e idiomas. La documentación completa está disponible aquí.

Si tienes algún comentario, no dudes en contactarnos en Discord.

Prueba Cambiador de Voz

Dilo como quieras y escúchalo con una voz completamente diferente, con control total sobre la interpretación. Captura susurros, risas, acentos y sutiles matices emocionales.