Eleven en INTERSPEECH 2022

Cómo fue

Acabamos de volver de la conferencia INTERSPEECH de este año, que ha sido la mejor oportunidad que hemos tenido hasta ahora para presentar y recibir comentarios sobre todos los avances en los que hemos trabajado durante los últimos meses.

Ha sido estupendo aprender y compartir ideas con los mejores del sector, además de establecer relaciones de cara al futuro. Conocimos a equipos de startups fantásticas que trabajan en nuestro mismo campo, especialmente en clonación de voz, síntesis de voz (TTS) y conversión de voz (VC), como Supertone y LOVO, por citar solo dos. También nos entusiasmó hablar con algunas de las empresas más consolidadas, como Meta y Google, sobre el trabajo entre bastidores que implica desarrollar software de TTS y VC.

Fuimos directos al grano. La enorme y sincera ilusión que despertó nuestro trabajo no podría habernos hecho más felices: todo superó nuestras expectativas. Durante los cuatro días siguientes hablamos sobre nuestra investigación y nuestros avances en esas tres áreas de tecnología de voz mencionadas antes: los primeros pasos, absolutamente cruciales, hacia el desarrollo de nuestra herramienta propia de doblaje automático, cuya versión 1.0 tenemos previsto lanzar a principios del próximo año.

Lo más importante para nosotros era demostrar que podemos clonar voces fielmente; que somos capaces de preservar la similitud entre los datos de voz originales con los que entrenamos nuestro algoritmo y cómo suena esa misma voz al generarse de forma sintética. En segundo lugar, era crucial demostrar que nuestras herramientas de TTS avanzan para formar parte de la plataforma de voz sintética más humana y natural que existe, con una prosodia y una tonalidad sin igual.

Lo primero es importante porque necesitamos que las locuciones recién generadas se identifiquen fácilmente como pronunciadas por una persona concreta: debemos conservar correctamente la identidad del hablante. La prosodia y la tonalidad son importantes porque el tono y el ritmo transmiten intención, que es lo que hace que la voz suene humana. El santo grial consiste en que el programa no solo pronuncie las palabras con fluidez, sino que también impregne la locución de la carga emocional adecuada, de modo que parezca entender lo que dice.

Demostración de TTS

A continuación puedes ver una demostración de TTS que utilizamos durante la conferencia. El primer enlace es el vídeo original y, después, encontrarás nuestra muestra con el mismo mensaje pronunciado con una voz diferente. Ten en cuenta que esto es texto a voz, no conversión de voz. Nuestra única aportación fue transcribir las palabras pronunciadas en el vídeo original para generar la voz que escuchas. Toda la prosodia y la entonación dependen del propio algoritmo; no hay posprocesamiento. ¡A ver si reconoces de quién es la voz!

En nuestra próxima publicación, dedicada específicamente a generar voz a partir de texto, podrás leer más sobre la tecnología TTS de Eleven.

Si te gusta nuestra tecnología y quieres ser beta tester, puedes apuntarte haciendo clic aquí.

Original:

TTS de clonación de voz de Eleven Labs:

El contenido antes que la forma

Durante los meses previos a la conferencia, nuestros esfuerzos se centraron casi exclusivamente en ofrecer muestras demostrables de nuestra tecnología y mostrar nuestra investigación propia. Al fin y al cabo, INTERSPEECH es una conferencia de investigación y teníamos claro que el contenido debía preceder a la forma, especialmente en un encuentro tan específico. Sin embargo, cuando llegó el día de la conferencia, empezamos a bromear con que nuestro mayor enfoque en la tecnología quizá hacía que nuestros esfuerzos de marca parecieran demasiado minimalistas. Pronto nos sentimos bastante aliviados, si no reivindicados, al ver que otros, incluidos los grandes actores del sector, también optaban por montajes más modestos.

Hasta el próximo año

Nuestro viaje a Corea fue un gran éxito para Eleven y una gran dosis de motivación para seguir esforzándonos aún más. Ya nos entusiasma pensar en los avances que podremos lograr durante el próximo año, tanto en nuestra investigación como en las formas de presentarla. Con suerte, para entonces tendremos listas nuestras herramientas de doblaje con calidad de producción y utilizaremos las voces de las personas para que puedan hablar idiomas que no dominan.