La primera IA que puede reír

En nuestra última publicación, mostramos algunos ejemplos extensos generados por nuestra herramienta de síntesis de voz y explicamos brevemente cómo el diseño único de nuestro modelo le permite generar voz con un ritmo natural y sin sonar robótico. Hoy vamos a demostrarte que también es más rico emocionalmente y tiene más conciencia del contexto que ningún otro. Esto no solo hace que resulte muy atractivo de escuchar, sino que también lo convierte en una solución ideal para aplicaciones que van desde poner voz a libros y videojuegos hasta la publicidad.

Emociones

Los dos puntos fuertes de nuestro modelo —la fluidez y una entonación adecuada— proceden de la gran cantidad de datos de entrenamiento que ha procesado (¡más de 500 000 horas!), pero el factor principal es cómo aprende de esos datos, algo que depende de su arquitectura. En esencia, está diseñado para comprender las emociones presentes en un texto y decidir si quien habla debe sonar alegre, enfadado, triste o neutral. Veamos algunos ejemplos:

Todas las diferencias de entonación y estado de ánimo proceden únicamente del texto; nada más influye en el resultado. La puntuación y el significado de las palabras son fundamentales para decidir cómo interpretar una frase concreta, pero observa también que, cuando quien habla se alegra de una victoria, el modelo reproduce de forma convincente sonidos que no forman parte del habla habitual, como la risa (¡pronto publicaremos una recopilación de las distintas risas que puede generar nuestra IA!). Del mismo modo, exagera adecuadamente la reacción cuando quien habla se divierte con algo hilarante: es «taaaaan gracioso».

Contexto

Pero conocer el significado de las palabras por separado no es suficiente. Nuestro modelo es igual de sensible al contexto más amplio que rodea cada enunciado: evalúa si algo tiene sentido según cómo se relacione con el texto anterior y posterior. Esta perspectiva más general le permite entonar correctamente fragmentos más largos al aplicar un patrón emocional unificador a una línea de pensamiento que se extiende a lo largo de varias frases, como mostramos en nuestra publicación anterior con contenido más extenso. Pero también le ayuda a evitar errores lógicos. Por ejemplo, algunas palabras se escriben igual, pero tienen significados distintos, como «read» en presente y pasado o «minute», que puede referirse a una unidad de tiempo o a algo muy pequeño. Decidir cuál corresponde en cada caso depende del contexto:

Lenguaje escrito frente a hablado

Como diseñamos nuestra plataforma para responder a las necesidades del contenido extenso, también necesitamos que nuestro modelo entienda que los símbolos, las abreviaturas y ciertas convenciones habituales en la escritura deben pronunciarse de una forma concreta o no leerse literalmente. Por ejemplo, el modelo debe saber que FBI, TNT y ATM se pronuncian de forma distinta a UNESCO o NASA. Del mismo modo, $3tr es perfectamente válido por escrito, pero al leerlo en voz alta debe convertirse en «tres billones de dólares».

Intervención humana

Reconocer estas sutiles diferencias es fundamental, ya que nuestro objetivo es reducir al mínimo la necesidad de intervención humana en el proceso de generación. Al fin y al cabo, no destacamos la capacidad de nuestra herramienta para generar un audiolibro en minutos para que alguien tenga que escuchar todo el audio y después reescribir el texto completo. Aun así, aunque actualizamos continuamente las reglas de pronunciación de nuestro modelo, siempre existe la posibilidad de que algo lo confunda. Por eso, estamos desarrollando un sistema para señalar la incertidumbre que permitirá a usuarios ver al instante qué fragmentos de texto resultaron problemáticos para el modelo y enseñarle cómo deben pronunciarse.

Infinidad de aplicaciones

Todas las capacidades que hemos mostrado son pasos hacia nuestro objetivo de convertir nuestro software en la herramienta de locución con IA más versátil.

Los medios de comunicación ya han comprobado que aumentar su presencia de audio es una gran forma de retener suscriptores. La gran ventaja de incluir una lectura en audio en cada artículo es que las personas pueden escucharlo mientras hacen otra cosa. Los medios que lo hacen suelen recurrir a actores de doblaje, lo que resulta caro y no permite cubrir todos los artículos. O utilizan a sus propios periodistas para leer las historias, una tarea que lleva tiempo y, por tanto, también cuesta dinero. Quienes usan voz sintética para narrar su contenido ahorran dinero, pero lo pagan con una menor calidad. Ahora, con ElevenLabs, no necesitas renunciar a nada y puedes tener lo mejor de ambos mundos.

O imagina generar audiolibros con locuciones diferenciadas y emocionalmente convincentes para todos los personajes, en cuestión de minutos. Esto no solo ofrece nuevas formas de disfrutar de los libros, sino que también facilita enormemente el acceso a personas con dificultades de aprendizaje.

Piensa en las posibilidades que ahora se abren para desarrolladores de videojuegos, que ya no tienen que valorar si un personaje concreto es lo bastante importante como para justificar el considerable coste de ponerle voz con actores reales. Ahora, todos los personajes no jugables pueden tener su propia voz y personalidad.

Las agencias de publicidad y los productores pueden experimentar libremente y ajustar las locuciones al tono de cualquier campaña, ya sea para un canal de televisión deportivo o para una marca de relojes de lujo. La voz de cualquier actor puede licenciarse para clonarla, de modo que los cambios se apliquen al instante y sin que el actor tenga que estar presente físicamente. Y si deciden usar una voz totalmente sintética, anunciantes tampoco tienen que preocuparse por pagar derechos de uso de voz.

Los asistentes virtuales pueden parecer más realistas tanto porque Clonar Voz IA les permite hablar con una voz familiar para un usuario concreto como porque esta nueva riqueza en la entonación haría que la interacción con ellos resultara más natural.

Beta de ElevenLabs

Haz clic aquí para registrarte en nuestra plataforma beta y probarla por ti mismo. Mejoramos continuamente y, en esta fase inicial, todos los comentarios de usuarios son muy valiosos para nosotros. ¡Disfruta!