Eleven v4
Nuestro modelo de Texto a Voz más reciente y avanzado.
Eleven v4 es nuestro modelo de Texto a Voz más reciente y avanzado, y el primero de una nueva generación de modelos. Mejora la calidad de salida, la precisión de voz, la consistencia, la emoción, la entonación, las etiquetas de audio y la cobertura de idiomas en comparación con Eleven v3.
En general, Eleven v4 supone una mejora respecto a Eleven v3 y ofrece mejores resultados en casi todos los casos. Recomendamos encarecidamente cambiar a v4 y probarlo con tus propias voces y contenido para comprobar la diferencia. Aunque algunos casos específicos pueden requerir otra opción, para la mayoría de usuarios v4 será la mejor elección.
Para conocer las etiquetas, la puntuación y las indicaciones de diálogo, consulta Indicaciones para Eleven v4.
Clonar voz
La precisión al clonar voces da un gran salto con Eleven v4. Las voces clonadas capturan las características de la voz de origen —timbre, cadencia y entonación— con más fidelidad que cualquier modelo anterior.
Los Clones de Voz Instantáneos (IVC) son más precisos que nunca en Eleven v4. Capturan con mayor fidelidad las características definitorias de una voz de origen, por lo que es más fácil crear rápidamente un clon convincente a partir de una muestra de audio corta.
Clonar Voz IA Instantáneo ha recibido una mejora importante en Eleven v4, ofreciendo una precisión notablemente mayor en general. Si todavía no lo has probado, ahora es un buen momento para hacerlo con tu propio audio.
Los Clones de Voz Profesionales (PVC) son totalmente compatibles con Eleven v4. Se basan en los mismos avances en precisión de voz y ofrecen una reproducción más fiel de la voz de origen para workflows que requieren el máximo nivel de consistencia y control.
La compatibilidad con Clonar Voz Profesional para Eleven v4 se está implementando actualmente y puede que todavía no esté disponible en tu cuenta. Debería estar disponible para todo el mundo en los próximos días.
Debido a este importante salto de precisión, Eleven v4 puede sonar sustancialmente diferente de Eleven v3. Eleven v3 sentó las bases de Eleven v4, con un fuerte énfasis en la entonación y la precisión, mientras que Eleven v4 se apoya en esa base con una precisión de voz considerablemente mejorada. Como resultado, Eleven v4 está diseñado para capturar la voz de origen con más fidelidad, aunque quizá sigas prefiriendo cómo sonaba una voz en Eleven v3. La precisión y la preferencia personal no siempre coinciden, así que recomendamos comparar ambas versiones con tu propio contenido para elegir la que mejor se adapte a tu caso de uso.
Teniendo en cuenta que Eleven v4 reproduce con mayor fidelidad las características de la voz de origen, incluidos su acento, entonación, volumen y otras cualidades distintivas, la calidad de la grabación de origen importa más que nunca. Un audio de entrenamiento claro y limpio ayuda a Eleven v4 a capturar la voz con precisión, sin introducir sonidos o características no deseados. El ruido de fondo, la distorsión u otros problemas de grabación pueden afectar al resultado.
Seguimos experimentando con Eleven v4 para entender cómo aprovecharlo mejor. Por ahora, parece mucho mejor capturando matices del audio, especialmente cuando hay mucho audio de entrenamiento, como ocurre con los Clones de Voz Profesionales. Nuestras recomendaciones sobre el uso de datos de entrenamiento variados pueden cambiar a medida que seguimos probando cómo controlar el modelo con un conjunto de datos más versátil. De momento, recomendamos mantener un único estilo de habla en tu audio de entrenamiento, que Eleven v4 debería capturar mejor que los modelos anteriores.
Gestión de acentos nativos
Este es uno de los mayores cambios de Eleven v4 respecto a cualquiera de los modelos antiguos, y merece la pena entenderlo bien.
Cuando el idioma que generas coincide con el idioma de tu voz de referencia, el acento original se conserva exactamente igual que antes.
Cuando el idioma que generas es distinto del idioma de la voz de referencia, Eleven v4 genera habla fluida y natural en el idioma de destino, en lugar de trasladar el acento de la voz de referencia desde su idioma original.
En la práctica: si clonas la voz de una persona coreana y generas inglés, Eleven v4 producirá un inglés natural y fluido en lugar de inglés hablado con acento coreano. Esto permite usar cada voz en todos los idiomas compatibles y resulta especialmente útil para doblaje, contenido multilingüe y agentes de voz que necesitan atender a usuarios en distintos idiomas con una sola voz.
Si tu workflow depende de que una voz mantenga su acento nativo en otros idiomas, prueba directamente este comportamiento con Eleven v4 antes de migrar: es un cambio deliberado en el funcionamiento de la generación entre idiomas, no un error.
Sin embargo, esta nueva funcionalidad aún se está ajustando y estamos explorando formas de convertirla en una opción activable en lugar de tenerla siempre activada. Sigue siendo un proyecto de investigación, por lo que de momento no tenemos una fecha prevista ni más información al respecto.
Variantes del modelo
Eleven v4 tiene dos variantes para que puedas elegir el equilibrio adecuado entre calidad y velocidad según tu caso de uso:
- Eleven v4 (
eleven_v4) — nuestro modelo de mayor calidad, ideal para creación de contenido, audiolibros, locuciones de personajes y cualquier caso de uso en el que la calidad sea la máxima prioridad. - Eleven v4 Turbo (
eleven_v4_turbo) — calidad extremadamente alta con una latencia impresionantemente baja, diseñado específicamente para casos de uso en tiempo real como agentes conversacionales y experiencias de voz interactivas.
Ambas variantes usan dos ajustes de voz: Estabilidad y Similitud.
La estabilidad controla lo consistente que se mantiene la entonación entre generaciones. Los valores más bajos permiten una entonación más expresiva y variada; los valores más altos mantienen la interpretación más cerca de una referencia fija.
La similitud controla hasta qué punto el resultado se ajusta a la voz de referencia. Los valores más altos fuerzan una mayor adhesión a la referencia, lo que puede afectar a cierta naturalidad.
Los controles de estilo y velocidad no están disponibles en Eleven v4, y SSML no es compatible.
Las etiquetas de audio (por ejemplo, [whispering], [shouting], [laughing]) te permiten dirigir la entonación con un control preciso, y Eleven v4 las gestiona con un nivel de matiz superior al de los modelos anteriores. Aún no son perfectas y seguimos iterando y mejorando la fiabilidad con la que el modelo sigue las instrucciones de las etiquetas; es un área activa de inversión continua y seguirá mejorando.
Ejemplos
Estos ejemplos son en bruto. No se ha aplicado un posprocesado intenso: sin ecualización, compresión, normalización, de-essing, eliminación de oclusivas ni procesos similares. Si escuchas problemas recurrentes, como clipping, oclusivas, ecualización irregular o saltos de volumen, es muy probable que estén en los datos de entrenamiento de esa voz. El modelo Eleven v4 simplemente los capturó, ya que es muy preciso, incluso al capturar imperfecciones. Hemos dejado el audio intacto para que puedas escuchar lo que produjo el modelo.
Precisión al clonar voces
Cada ejemplo comienza con una vista previa de la Biblioteca de Voces. Después tomamos un texto y lo generamos usando un Clon de Voz Instantáneo de esa voz tanto en Eleven v3 como en Eleven v4.
No es una comparación perfecta. Eleven v4 también funciona con Clones de Voz Profesionales, que pueden mejorar aún más la coincidencia. Sin embargo, para mantener una comparación más justa, usamos Clones de Voz Instantáneos tanto para Eleven v3 como para Eleven v4.
Estos ejemplos muestran cuánto de la voz original capta el modelo. Es importante tener en cuenta que esto también incluye la ecualización, calidad, volumen y cualquier otro detalle menor e imperfección del audio, como oclusivas, sibilancias ásperas y fluctuaciones de volumen.
Escucha la vista previa, luego Eleven v3 y después Eleven v4.
Voz NfUrCNRReUL9RXS9upG1.
Voz HBDoL4wkcalemIO0nUAu.
Interpretación de voz
Estas son generaciones de Eleven v4. Las etiquetas de audio del texto dirigen la entonación.
Voz EkK5I93UQWFDigLMpZcX.
Voz t7VaN65ClS2VrEUwk1nR.
Audiolibro
Esta es una narración de Eleven v4. Las etiquetas marcan el ritmo y el tono de la escena.
Voz KHRvDizAHFVPzoSehNY6.
El modelo seguirá evolucionando
Eleven v4 está en desarrollo activo y continuo. A medida que sigamos entrenando y mejorando el modelo tras su lanzamiento, su comportamiento puede cambiar con el tiempo a medida que mejore la calidad. Recomendamos volver a probar tu caso de uso periódicamente a medida que evoluciona el modelo, y compartiremos actualizaciones relevantes conforme se implementen.
Preguntas frecuentes
¿Qué idiomas admite Eleven v4?
Eleven v4 admite afrikáans, amárico, árabe, armenio, asamés, asturiano, azerbaiyano, bielorruso, bengalí, bosnio, búlgaro, birmano, cantonés, catalán, cebuano, croata, checo, danés, neerlandés, inglés, estonio, filipino, finés, francés, fula (pulaar), gallego, georgiano, alemán, griego, guyaratí, hausa, hebreo, hindi, húngaro, islandés, indonesio, italiano, japonés, canarés, kazajo, coreano, kirguís, lao, lingala, lituano, luganda, luxemburgués, macedonio, malayo, malayalam, maltés, chino mandarín, maorí, maratí, mongol, nepalí, noruego bokmål, occitano, odia, pastún, persa, polaco, portugués (Brasil), panyabí, rumano, ruso, serbio, shona, sindhi, eslovaco, esloveno, somalí, kurdo sorani, español (LatAm), suajili, sueco, tayiko, tamil, télugu, tailandés, turco, ucraniano, urdu, uzbeko, vietnamita, galés y wolof.
Algunos idiomas se gestionan con más fluidez que otros, pero en general Eleven v4 gestiona muy bien la gran mayoría de ellos.
¿Una voz clonada conservará su acento?
Cuando la voz de referencia y el habla generada están en el mismo idioma, se conserva el acento de la voz. Por ejemplo, si clonas a alguien que habla inglés con un acento inglés concreto y generas habla en inglés, ese acento se conservará.
¿Puedo hacer que una voz hable otro idioma con su acento original?
De forma predeterminada, cuando el idioma generado difiere del idioma de la voz de referencia, Eleven v4 busca producir habla fluida y natural en el idioma de destino en lugar de trasladar el acento de referencia. Puedes probar a usar etiquetas de audio para guiar un acento o estilo de entonación, pero los resultados pueden variar, así que prueba tu voz y caso de uso específicos.
¿Un clon de Eleven v4 sonará como su versión de Eleven v3?
En general, Eleven v4 reproduce las características de la voz de origen con mucha más precisión que Eleven v3, incluidos su timbre, cadencia, entonación y otros manierismos. Como resultado, un clon de Eleven v4 generalmente sonará más como la voz de origen y puede sonar bastante diferente de su versión de Eleven v3.
¿Necesito entrenar Eleven v4?
Eleven v4 funciona tanto con Clonar Voz IA Instantáneo como con Clonar Voz Profesional.
Con Clonar Voz IA Instantáneo, creas una voz sin un paso de entrenamiento independiente. Sube una muestra corta, generalmente de uno a dos minutos, y en cuestión de segundos tendrás una voz que podrás usar.
Clonar Voz Profesional funciona igual que con los modelos anteriores. Entrena un modelo dedicado con un conjunto más amplio de grabaciones.
Si ya tienes un Clon de Voz Profesional y quieres entrenarlo en Eleven v4, abre Mis voces, busca la voz en la lista y pasa el cursor sobre ella. Verás los modelos disponibles para esa voz. Haz clic en el botón con el signo más junto a Eleven v4 para iniciar el ajuste fino.
¿Debería usar Diseño de Voz con Eleven v4?
Las voces de Diseño de Voz funcionan con Eleven v4, pero puede que no sean tan expresivas o no suenen tan bien como con los modelos anteriores.