¿Qué es la latencia de la IA conversacional y qué factores influyen en ella?

En IA conversacional, la latencia es lo que distingue a las buenas aplicaciones de las excelentes.

La IA conversacional es, por naturaleza, ambiciosa. Busca emular la sensación de conversar con una persona, reproduciendo el mismo rango emocional, tono y cadencia. Si además se incorpora un retraso que resulte «natural» entre el momento en que dejas de hablar y el inicio de la respuesta de un agente de IA, se obtiene un objetivo de latencia basado en cómo se comunican realmente las personas. 

Empresas que quieran implementar agentes de IA conversacional a escala deben reducir esa latencia tanto como sea posible para lograr esa ilusión de naturalidad. Este artículo explica qué es la latencia de la IA conversacional, qué provoca retrasos en todo el proceso y cómo reducirlos a grandes rasgos. 

Resumen

• La latencia de la IA conversacional es el retraso total de extremo a extremo desde que un usuario deja de hablar hasta que escucha la primera palabra del agente.
• Los agentes con más de 700 ms pueden parecer poco naturales, y los que superan los 1200 ms registran altas tasas de abandono.
• La latencia se acumula en cada fase del proceso de IA conversacional.
• ElevenAgents gestiona todo el proceso en una única arquitectura unificada, haciendo que la IA conversacional de baja latencia sea accesible para tu empresa.

¿Qué es la latencia de la IA conversacional?

La latencia de la IA conversacional es el tiempo total que tarda un sistema en responder después de que hayas hablado. En los modelos de IA modernos, la latencia se mide en ms. Entre bastidores, la cifra de latencia total se compone de varios procesos independientes, cada uno de los cuales aporta una parte del proceso de extremo a extremo. 

Un proceso típico de IA conversacional es el siguiente:

1. Un usuario habla
2. Un modelo de voz a texto transcribe el audio
3. La transcripción se envía a un modelo LLM, que genera una respuesta
4. A continuación, el texto del LLM se sintetiza en audio con un modelo de texto a voz
5. El audio se reproduce al usuario

Cada una de estas fases añade latencia a un sistema de IA conversacional. Por eso, al hablar de latencia, conviene aclarar varios acrónimos.

Latencia de inferencia del modelo

La latencia de inferencia del modelo es el tiempo que un modelo dedica a generar resultados, medido internamente y sin incluir factores externos. Es la medida específica del modelo de la rapidez con la que funciona tu motor con entradas habituales. Por ejemplo, Flash v2.5 tiene una latencia de inferencia de aproximadamente 75 ms. Con ello, puedes comparar la rapidez de los modelos entre distintos proveedores.

Aun así, recuerda que esta no es la cifra de latencia que experimenta realmente un usuario. Se refiere específicamente al tiempo total que un modelo dedica a generar resultados.

Tiempo hasta el primer token del LLM

El tiempo hasta el primer token (TTFT) de un modelo de lenguaje grande (LLM) es el tiempo total que tarda en procesar un prompt y generar su primer token de salida utilizable.

La generación de TTS comienza cuando llega el primer token de tu LLM, por lo que mide cuánto tarda el LLM en empezar a indicar a tu modelo TTS que se ejecute. En la mayoría de los sistemas de IA conversacional de extremo a extremo, el TTFT del LLM constituye una parte importante de la latencia total. 

Tiempo hasta el primer audio de TTS (TTFA)

El tiempo hasta el primer audio de TTS (TTFA) mide el tiempo desde la primera solicitud de TTS hasta que el primer fragmento de audio sale realmente del modelo. Es una forma de describir la latencia de inferencia, pero específicamente para motores TTS. 

Tiempo de extremo a extremo hasta el primer audio (TTFA)

El TTFA de extremo a extremo es la latencia total de la IA conversacional. Es la suma de cada parte del proceso, desde el reconocimiento de voz, el TTFT del LLM, TTS y TTFA, hasta todas las transmisiones de red entre fases. Al hablar de la latencia de la IA conversacional en conjunto, esta es la métrica que percibe el usuario.

Cuando habla, tendrá que esperar al TTFA de extremo a extremo antes de oír una respuesta de tu agente. Es una medida integral, lo que significa que mejorar cualquier parte del proceso la mejorará. 

Por qué importa la latencia de la IA conversacional

Cuando un usuario habla con tu agente de IA, la latencia se convierte en un factor central de su percepción de la experiencia. Una latencia baja reduce el tiempo que tiene que esperar para recibir una respuesta, ayuda a que la conversación resulte natural y hace que el agente parezca competente. 

Los agentes con alta latencia parecen artificiales y menos competentes, aunque la calidad de sus respuestas sea la misma. Para empresas, incluso una diferencia de unos pocos cientos de ms puede parecer una eternidad y hacer que tu agente de atención al cliente parezca torpe e ineficaz.

Estos escenarios muestran por qué importa en la práctica la latencia de la IA conversacional:

• Menos de 500 ms: Un agente conversacional resulta ágil y responde con rapidez. Puede que usuarios no perciban el retraso entre dejar de hablar y recibir la primera respuesta, permitiendo que la conversación fluya sin interrupciones.
• De 500 ms a 1000 ms: El retraso entre el momento en que un usuario deja de hablar y recibe una respuesta puede empezar a notarse. Es solo un poco demasiado largo, por lo que usuarios podrían intentar anticiparse repitiendo lo que han dicho o haciendo una pausa para comprobar si el agente les ha entendido.
• Más de 1000 ms: Los retrasos empiezan a resultar lentos, con pausas que hacen que algunos usuarios sientan que el agente de IA no sigue plenamente el ritmo de la conversación. Las transcripciones pueden mostrar interrupciones ocasionales o peticiones para hablar con un agente humano. En algunos casos, usuarios pueden abandonar la llamada.

Cada uno de estos umbrales se traduce en resultados empresariales reales. 

En el extremo bajo del espectro de latencia, tendrás un agente de atención al cliente capaz de atender consultas entrantes de forma natural y ayudar a usuarios a resolverlas sin ayuda adicional. Esto reduce la carga de tus agentes humanos y mantiene alta la satisfacción del cliente. En el extremo alto, frustrarás a tus clientes con un agente que parece dudar durante demasiado tiempo. 

Hemos definido los benchmarks de presupuesto de latencia para agentes de voz en otro artículo para mostrar cómo es una buena latencia tanto en los valores P50 como P95. 

¿Qué provoca la latencia de la IA conversacional?

La latencia de la IA conversacional resume varios procesos distintos, y cada segmento contribuye al total. Por tanto, el obstáculo para lograr baja latencia es más un problema de nivel de sistema que algo que se resuelva simplemente eligiendo un modelo mejor. Al fin y al cabo, varios modelos interactúan en el proceso.

Para desarrolladores, hemos escrito una guía técnica detallada sobre optimización de la latencia de agentes de voz que puedes usar para mejorar cada fase del tiempo de extremo a extremo hasta el primer audio (TTFA).

Además del proceso principal, otros factores como la telefonía y las llamadas a funciones también añaden latencia, aunque no formen parte de la infraestructura interna del modelo. 

Aquí tienes una visión general de todos los factores que contribuyen a la latencia de la IA conversacional. 

Reconocimiento automático de voz

La latencia del reconocimiento de voz no es el tiempo que tarda en generar una transcripción. El proceso de transcripción se ejecuta en segundo plano mientras habla el usuario, de modo que, cuando termina de hablar, el texto ya está prácticamente listo. 

La latencia aquí es en realidad el intervalo entre el final del habla y el momento en que se finaliza la transcripción y se pasa a la siguiente fase. Scribe v2 Realtime reduce este intervalo a aproximadamente 150 ms, transmitiendo de forma continua para que el resultado esté listo en cuanto termina el turno.

Gestión de turnos y detección de final de turno 

Un detector de actividad de voz (VAD) se sitúa entre el reconocimiento de voz y el modelo de lenguaje. Su función es decidir cuándo el usuario ha terminado realmente de hablar. 

Para evitar errores, el VAD espera un umbral de silencio sostenido antes de declarar terminado el turno, y esa espera añade latencia antes de que el modelo de lenguaje procese una palabra. Esa pequeña latencia adicional suma tiempo, pero también evita que el sistema empiece a responder mientras el usuario sigue hablando. 

Técnicamente, si todos los demás componentes de la IA conversacional tuvieran una latencia cero, la latencia atribuida a la gestión de turnos sería positiva. Las personas se toman un instante antes de responder. Que una máquina haga una pausa similar aporta realismo a la interacción. Sin embargo, como otros componentes de la IA conversacional ya añaden latencia, lo ideal es minimizarla.

Procesamiento del modelo de lenguaje

Una vez que la transcripción está lista desde el motor de voz a texto (STT), el modelo de lenguaje genera una respuesta. La latencia aquí es el tiempo que tarda en empezar a generar tokens, no en generar la respuesta completa. Estos tokens se transmiten directamente a la fase de TTS a medida que llegan, por lo que lo más importante es el TTFT. 

Además de la elección del modelo, tanto la longitud del prompt como el tamaño de la base de conocimientos afectan a esta fase. Cuanto más contexto deba considerar el LLM, más tardará. Al diseñar estos sistemas a escala, conviene encontrar el equilibrio adecuado entre una base de conocimientos útil y un prompt conciso para mantener la rapidez.

Síntesis de voz

La latencia de TTS es el tiempo entre recibir los primeros tokens del modelo de lenguaje y el inicio del audio. Como los tokens llegan más rápido de lo que se reproduce el habla humana, el modelo de síntesis nunca espera a la respuesta completa. La latencia de TTS es estrictamente el tiempo hasta el primer fragmento de audio. 

Esta fase solía ser la principal fuente de latencia de la IA conversacional: los modelos antiguos tardaban entre 2 y 3 segundos en empezar a generar voz. Flash v2.5 de ElevenLabs aborda este problema directamente, ofreciendo síntesis de voz con una latencia de ~75 ms y reduciendo ese cuello de botella de segundos a una fracción de segundo.

Latencia de red

Enviar datos de un lugar a otro siempre añade latencia, y la distancia geográfica solo agrava la latencia de red de ida y vuelta. 

Como varios componentes trabajan juntos para generar una respuesta de extremo a extremo, puede acumularse una latencia significativa a través de varios saltos de red. 

Llamadas a funciones

Las llamadas a funciones añaden viajes de ida y vuelta de API en la fase del LLM. Una consulta interna rápida añade decenas de milisegundos, mientras que un procesador de pagos o un sistema de inventario podría añadir segundos. La cantidad de latencia depende completamente del servicio llamado, lo que hace que esta sea la fase más difícil de optimizar directamente. 

El patrón más eficaz consiste en indicar al LLM que responda antes de que termine la llamada a la herramienta. Una frase como «Déjame comprobarlo» mantiene al usuario implicado mientras se resuelve la llamada externa, en lugar de dejar silencio. La respuesta de voz empieza mientras la herramienta se ejecuta en paralelo.

Cómo reducir la latencia de la IA conversacional

Reducir la latencia de la IA conversacional exige abordar cada fase del proceso según su impacto. Aunque las mejoras individuales sí afectan a la latencia, tendrás que trabajar todo el proceso de forma integral para lograr el mayor cambio.

Estos principios pueden ayudarte a reducir la latencia de la IA conversacional a grandes rasgos:

• Elección del modelo TTS: Los modelos TTS optimizados para velocidad, como Flash v2.5, utilizan arquitecturas diferentes de los modelos optimizados para calidad, como Eleven v3. Para agentes de voz en tiempo real, la opción adecuada es el modelo de mayor calidad que cumpla tu objetivo de latencia, que casi siempre será uno optimizado para la velocidad.
• Elección del modelo LLM: Los LLM más pequeños y rápidos suelen generar un tiempo hasta el primer token menor que los más grandes. Elegir el LLM más rápido que siga cumpliendo tu estándar de calidad para la tarea importa tanto como elegir el modelo TTS.
• Transmisión en streaming: El TTS en streaming devuelve audio en fragmentos a medida que avanza la síntesis, de modo que el usuario oye la primera palabra mientras el modelo aún genera el resto. Este concepto también se aplica a la salida del LLM: iniciar la síntesis TTS con la primera frase mientras el modelo de lenguaje genera las siguientes permite recuperar latencia del proceso. 
• Prompt del sistema diseño: Usuarios pueden simplificar los prompts del sistema trasladando las instrucciones a procedimientos o workflows, en lugar de mantenerlas como parte de cada fase de decisión. Así se reduce la cantidad de contexto sobre la que el modelo debe razonar en cada turno.
• Medidas de protección: Ejecutar medidas de protección en el modelo de streaming permite que la salida empiece a reproducirse antes de que termine la comprobación, en lugar de bloquear la reproducción hasta que finalice.
• Ubicación conjunta de modelos: Usar modelos ubicados conjuntamente cuando sea posible, como en la plataforma de ElevenLabs Agents, mantiene los componentes cerca para que no se añada latencia por saltos entre modelos alojados por separado.
• Geografía: La proximidad entre tus servidores y tus usuarios puede reducir significativamente la latencia, ya que reduce directamente la contribución de la red al TTFA de extremo a extremo. 

Además de estos factores, puedes consultar esta guía técnica para optimizar la latencia para obtener más detalles. 

Empieza con IA conversacional de baja latencia en ElevenAgents

La latencia de la IA conversacional es un aspecto fundamental al crear e implementar agentes. Con ElevenAgents, la optimización de la latencia está integrada en el proceso. Desde técnicas de solapamiento para recuperar tiempo hasta baja latencia de inferencia en los componentes individuales, ElevenAgents crea plataformas de IA conversacional de baja latencia para tu empresa. 

Al final, el objetivo es crear realismo. Un usuario debe sentir la facilidad de hablar con una persona mientras obtiene las ventajas de un programa informático. Al optimizar los subprocesos, esto ya es posible.

Descubre más información sobre ElevenAgents o contacta con ventas para empezar hoy.

Preguntas frecuentes sobre la latencia de la IA conversacional