Cómo sabe tu transcripción dónde se pronuncia cada palabra

Si alguna vez has visto una película en la tele con problemas de emisión y los diálogos de los actores completamente desincronizados con los subtítulos, sabes lo molesto que puede llegar a ser y cómo te saca de la historia. Los vídeos y el software que utilizan modelos de voz tienen el mismo problema: un subtítulo que aparece un segundo tarde o una transcripción que resalta la palabra equivocada pueden parecer igual de defectuosos.

«Las personas somos bastante buenas sincronizando contenidos, al menos a nivel de palabra», afirma Danila Kozlov, investigador de ElevenLabs especializado en alineación. «A menudo intuimos dónde empieza una palabra, pero a nivel de carácter y con precisión submilisegundo, resulta mucho más difícil». 

Hoy presentamos Cue, un modelo de alineación forzada que sitúa cada carácter de un archivo de audio en una línea de tiempo precisa. Cue impulsa la familia de modelos Scribe de ElevenLabs y, en grabaciones reales, es más preciso que todos los alineadores que hemos probado, en los 29 idiomas de la evaluación comparativa. Además, procesa grabaciones de cualquier duración de una sola vez y alinea una hora de audio en menos de un segundo. 

¿Qué es la alineación forzada?

Imagina que alguien te entrega un vídeo y una transcripción y te pide que asocies cada palabra con el momento en que se pronuncia. Eso es la alineación forzada. Cuando haces clic en una palabra de una transcripción de ElevenLabs y el reproductor salta a ese punto exacto, un alineador está haciendo el trabajo.

Sin embargo, la alineación forzada es distinta del concepto más nebuloso de alineación de IA. Este consiste en diseñar sistemas de IA cuyo comportamiento se ajuste a los sistemas de valores y las preferencias empresariales de las personas. Con la alineación forzada, solo hablamos de sincronizar texto y sonido.

Cue es el último paso del proceso de voz a texto. Scribe, el modelo de ElevenLabs de Voz a Texto, transcribe el audio y el alineador establece los tiempos. Todas las solicitudes a Scribe pasan por él. El mismo modelo también impulsa los subtítulos, el doblaje y la sincronización de letras para música, y está disponible por separado mediante la API de alineación forzada.

Como muchos productos dependen de él, un alineador debe ser preciso en todos los idiomas compatibles, extremadamente rápido y capaz de gestionar muchas solicitudes a la vez.

Dónde fallan los alineadores tradicionales

Antes del nuevo modelo, el equipo creó el modelo de alineación que se había utilizado hasta entonces en todos los productos de ElevenLabs. Aunque era potente, sabían que podían mejorar la nueva versión. Cuando se incorporó Kozlov, él y el equipo empezaron entrevistando a clientes y usuarios internos de ElevenLabs para saber qué les frustraba al trabajar con el alineador anterior. Sus quejas coincidían con las limitaciones de las herramientas de código abierto que el equipo probó.

La duración es el primer gran problema. Muchos alineadores actuales funcionan bien con clips de unos 30 segundos, pero los archivos más largos deben dividirse en fragmentos. Cada fragmento nuevo puede añadir un pequeño error de sincronización, y unir los fragmentos puede añadir más. En grabaciones completas, el error medio de sincronización de Cue es de solo 179 milisegundos, mientras que las herramientas de código abierto oscilaban entre 283 ms y más de 6000 ms. 

El audio grabado en condiciones reales supone un reto aún mayor. El ruido de fondo, las voces superpuestas y la música ambiental hacen que muchas herramientas pierdan el hilo al asociar el texto con el audio. Pero estos son precisamente los tipos de archivos que mucha gente quiere transcribir, ya que todos solemos vivir en lugares que no son perfectamente silenciosos. En grabaciones en inglés con problemas de fondo, el error medio de Cue es de 57 ms, frente a los 65 ms a 920 ms de las demás.

La compatibilidad con idiomas es otra limitación. La mayoría de los alineadores de código abierto necesitan un modelo independiente para cada idioma compatible, por lo que los idiomas con menos datos de entrenamiento suelen funcionar peor o simplemente no son compatibles. MMS-FA es la única otra herramienta que maneja los 29 idiomas de la evaluación comparativa y, en comparación, Cue solía determinar más rápido los límites entre palabras.

La velocidad también es un problema para estos modelos, ya que alinear grandes volúmenes de audio puede resultar caro rápidamente. Cue puede alinear una hora de audio en alrededor de medio segundo en nuestra GPU de producción. La siguiente herramienta más rápida, Qwen3-ForcedAligner, tarda casi 2 segundos, y la más lenta de las probadas tarda bastante más de un minuto.

Qué diferencia a Cue

Cue es un único modelo que cubre más de 90 idiomas de evaluación comparativa, a diferencia de la mayoría de sus competidores. También puede procesar grabaciones de cualquier duración de una sola vez, lo que evita la división en fragmentos que hace que los errores de sincronización se acumulen en archivos largos.

Mientras que la mayoría de los modelos han aumentado de tamaño al mejorar su rendimiento, Cue es más pequeño que el alineador anterior de ElevenLabs, según Kozlov. Sigue ejecutándose en una GPU, pero alinea una hora de audio en aproximadamente medio segundo. 

El equipo diseñó Cue en torno a los tipos de audio que la gente sube realmente. Tomando el alineador anterior como referencia, crearon una evaluación comparativa a partir de solicitudes reales y puntuaron todas las herramientas del mismo modo, contando como error cada palabra que una herramienta no lograba ubicar. Cue funciona a nivel de carácter, un nivel de detalle mayor que las etiquetas a nivel de palabra que utilizan la mayoría de las evaluaciones comparativas, por lo que es probable que esas puntuaciones subestimen su precisión.

«En algún momento alcanzas el nivel de las capacidades humanas», comenta Kozlov sobre los modelos de alineación. «Nuestro alineador actual supera ese nivel, por lo que resulta mucho más difícil comprobar si es totalmente correcto o determinar hasta qué punto es preciso, porque no existe una evaluación comparativa de referencia. Tuvimos que utilizar evaluaciones comparativas a nivel de palabra para evaluar un sistema a nivel de carácter, lo que no muestra necesariamente todo el potencial de Cue».

La calidad de Cue también refleja la rapidez con la que ElevenLabs puede actuar a partir de los comentarios de usuarios. Poco después de lanzar Cue, un cliente avisó al equipo de que el georgiano y otros dos idiomas con menos recursos rendían peor de lo esperado. En ElevenLabs mantenemos la investigación cerca de los equipos y clientes que utilizan nuestros productos, lo que nos permitió detectar el problema rápidamente, investigar posibles mejoras del modelo, entrenar una nueva versión y lanzarla, todo en menos de 24 horas desde que el cliente comunicó el problema por primera vez. 

Alinear canciones

La música es difícil porque al cantar se alargan y se difuminan las palabras, y pocos modelos lo hacen bien. El equipo no esperaba que Cue lo gestionara tan bien. Cue pudo alinear un subconjunto de canciones del conjunto de datos con licencia Creative Commons JamendoLyrics MultiLang. Pudo hacerlo en inglés, francés, español y alemán —de una sola vez— con una precisión sorprendente. Situó el 92,7 % de las palabras a menos de 0,3 segundos de la etiqueta, frente al 82,0 % de la siguiente mejor herramienta. 

El error medio de inicio de Cue fue de 0,82 segundos, aproximadamente la mitad que el de su competidor más cercano. Fue más preciso que todas las demás herramientas en al menos 19 de las 22 canciones. El potencial de cantar en el karaoke tus canciones nuevas favoritas el mismo día de su lanzamiento es enorme. 

Prueba Cue hoy

Cue ya está detrás de cada transcripción de Voz a Texto en ElevenLabs. Para utilizarlo directamente, prueba la API de alineación forzada.

Agradecimientos

El trabajo en los modelos de alineación de ElevenLabs no habría sido posible sin muchas personas de toda la empresa. El equipo quiere agradecer a todas las personas que trabajaron en la versión anterior del modelo y en la nueva, entre ellas, el cofundador y CTO Piotr Dąbkowski; los investigadores Danila Kozlov, Luca Lanzendörfer, Flavio Schneider, Max Levi, Tim von Känel y Angelos Perivolaropoulos; Ani Janelidze, de Operaciones de Datos; nuestros equipos de Forward Deployed Engineer y Soporte; y Lorenzo Dossi por su trabajo en la visualización de este blog.