O que é latência de IA conversacional e o que a afeta?

Para IA conversacional, a latência é o que separa aplicações boas das excelentes.

A IA conversacional é, por natureza, aspiracional. Ela busca reproduzir a mesma sensação de conversar com uma pessoa, refletindo a mesma variedade emocional, entonação e cadência. Ao considerar também o atraso que parece “natural” entre o momento em que você para de falar e aquele em que um agente de IA começa a responder, chegamos a uma meta de latência baseada em como as pessoas realmente se comunicam. 

Empresas que querem implementar agentes de IA conversacional em escala precisam reduzir essa latência o máximo possível para alcançar essa ilusão de naturalidade. Este artigo explica o que é a latência da IA conversacional, o que causa atrasos em todo o pipeline e como reduzi-los de forma geral. 

Resumo

• A latência da IA conversacional é o atraso total de ponta a ponta entre o momento em que um usuário para de falar e aquele em que ouve a primeira palavra do agente.
• Agentes com mais de 700 ms podem parecer pouco naturais, e aqueles acima de 1.200 ms têm altas taxas de abandono.
• A latência se acumula em todas as etapas do pipeline de IA conversacional.
• O ElevenAgents gerencia todo o pipeline em uma arquitetura única e unificada, tornando a IA conversacional de baixa latência acessível para sua empresa.

O que é latência de IA conversacional?

A latência da IA conversacional se refere ao tempo total que um sistema leva para responder depois que você fala. Nos modelos modernos de IA, a latência é medida em ms. Nos bastidores, o valor total de latência é composto por vários processos separados, cada um contribuindo para uma parte do pipeline de ponta a ponta. 

Um pipeline típico de IA conversacional funciona assim:

1. Um usuário fala
2. O áudio é transcrito por um modelo de Speech to Text
3. A transcrição é enviada para um modelo de LLM, que produz uma resposta
4. O texto do LLM é então sintetizado em áudio com um modelo de Text to Speech
5. O áudio é então reproduzido para o usuário

Cada uma dessas etapas adiciona latência a um sistema de IA conversacional. Por isso, há algumas siglas diferentes que precisam ser esclarecidas ao falar de latência.

Latência de inferência do modelo

A latência de inferência do modelo é o tempo que um modelo passa gerando uma saída, medido internamente e sem considerar fatores externos. É a medida específica do modelo de quão rápido seu mecanismo funciona para entradas típicas. Por exemplo, o Flash v2.5 tem uma latência de inferência de aproximadamente 75 ms. Com isso, você pode comparar a rapidez dos modelos entre diferentes concorrentes.

Dito isso, lembre-se de que esse não é o valor de latência que um usuário realmente percebe. Ele se refere especificamente ao tempo total que um modelo passa gerando uma saída.

Tempo até o primeiro token do LLM

O tempo até o primeiro token (TTFT) de um modelo de linguagem grande (LLM) é o tempo total que ele leva para processar um prompt e gerar seu primeiro token de saída utilizável.

A geração de TTS começa quando o primeiro token chega do seu LLM. Portanto, essa medida indica quanto tempo o LLM leva para começar a acionar seu modelo de TTS. Para a maioria dos sistemas de IA conversacional de ponta a ponta, o TTFT do LLM representa uma parte significativa da latência total. 

Tempo até o primeiro áudio do TTS (TTFA)

O tempo até o primeiro áudio (TTFA) do TTS mede o tempo entre a primeira solicitação de TTS e o momento em que o primeiro trecho de áudio efetivamente sai do modelo. É uma forma de descrever a latência de inferência do modelo, mas especificamente para mecanismos de TTS. 

Tempo de ponta a ponta até o primeiro áudio (TTFA)

O TTFA de ponta a ponta é a latência total da IA conversacional. É a soma de cada parte do pipeline, incluindo reconhecimento de fala, TTFT do LLM, TTS, TTFA e todas as transmissões de rede entre as etapas. Ao falar sobre a latência geral da IA conversacional, essa é a métrica percebida pelo usuário.

Quando falam, os usuários aguardam o TTFA de ponta a ponta antes de ouvir qualquer resposta do seu agente. É uma medida holística, ou seja, melhorar qualquer parte do pipeline irá melhorá-la. 

Por que a latência da IA conversacional importa

Quando um usuário conversa com seu agente de IA, a latência se torna um fator central na forma como ele percebe a experiência. Tempos de latência baixos reduzem a espera pela resposta, ajudando a conversa a parecer natural e seu agente a demonstrar capacidade. 

Agentes com latência alta parecem artificiais e menos competentes, mesmo que a qualidade das respostas seja a mesma. Para as empresas, até uma diferença de algumas centenas de ms pode parecer uma eternidade, fazendo com que seu agente de atendimento ao cliente pareça travado e ineficaz.

Veja alguns cenários que demonstram, na prática, por que a latência da IA conversacional importa:

• Abaixo de 500 ms: Um agente conversacional parece ágil e responsivo. Talvez os usuários nem percebam o atraso entre parar de falar e receber a primeira resposta, permitindo que a conversa flua naturalmente.
• De 500 ms a 1.000 ms: O atraso entre o momento em que o usuário para de falar e recebe uma resposta pode se tornar perceptível. É só um pouco longo demais, e os usuários podem tentar se antecipar repetindo o que disseram ou fazendo uma pausa para verificar se o agente realmente os entendeu.
• Acima de 1.000 ms: Os atrasos começam a parecer lentos, com pausas que fazem alguns usuários sentirem que o agente de IA não está acompanhando plenamente a conversa. As transcrições podem mostrar interrupções ocasionais ou pedidos para falar com um agente humano. Em alguns casos, os usuários podem abandonar a chamada.

Cada um desses limites se traduz em resultados reais para o negócio. 

Na faixa mais baixa do espectro de latência, você terá um agente de atendimento que consegue lidar naturalmente com perguntas recebidas e ajudar usuários a resolver suas dúvidas sem ajuda adicional. Isso reduz a pressão sobre seus agentes humanos e mantém a satisfação do cliente alta. Na faixa mais alta, você frustrará seus clientes com um agente que parece hesitar por tempo demais. 

Definimos os benchmarks de orçamento de latência para agentes de voz em outro artigo para demonstrar como é uma boa latência nos valores P50 e P95. 

O que causa a latência da IA conversacional?

Latência de IA conversacional é um termo que resume diversos processos, com cada segmento contribuindo para o todo. Por isso, o gargalo para alcançar baixa latência é mais um problema de nível de sistema do que algo resolvido simplesmente pela escolha de um modelo melhor. Afinal, vários modelos interagem no pipeline.

Para desenvolvedores, criamos um guia técnico detalhado sobre otimização da latência de agentes de voz que você pode usar para melhorar cada etapa do tempo de ponta a ponta até o primeiro áudio (TTFA).

Além do pipeline principal, outros fatores, como telefonia e chamadas de função, também adicionam latência, embora não façam parte da infraestrutura interna do modelo. 

Veja uma visão geral de todos os fatores que contribuem para a latência da IA conversacional. 

Reconhecimento automático de fala

A latência do reconhecimento de fala não é o tempo que ele leva para gerar uma transcrição. O processo de transcrição é executado em segundo plano enquanto o usuário fala, então, quando a fala termina, o texto já está em grande parte pronto. 

Aqui, a latência é, na verdade, o intervalo entre o fim da fala e a finalização da transcrição, que é então enviada para a próxima etapa. O Scribe v2 Realtime reduz esse intervalo para aproximadamente 150 ms, transmitindo continuamente para que a saída esteja pronta assim que o turno termina.

Alternância de turnos e detecção de fim de fala 

Um Detector de Atividade de Voz (VAD) fica entre o reconhecimento de fala e o modelo de linguagem. Sua função é decidir quando o usuário realmente terminou de falar. 

Para evitar erros, o VAD espera um período mínimo de silêncio contínuo antes de declarar o fim do turno, e essa espera adiciona latência antes que o modelo de linguagem processe uma palavra. Essa pequena latência extra adiciona tempo, mas também impede que o sistema comece a responder enquanto o usuário ainda está falando. 

Tecnicamente, se todos os outros componentes da IA conversacional tivessem latência zero, a latência atribuída à alternância de turnos seria algo positivo. As pessoas fazem uma breve pausa antes de responder a uma fala. Uma máquina que faz uma pausa semelhante torna a interação mais realista. Porém, como outros componentes da IA conversacional já geram latência, o ideal é manter essa latência mínima.

Processamento do modelo de linguagem

Quando a transcrição do mecanismo de Speech to Text (STT) está pronta, o modelo de linguagem gera uma resposta. A latência aqui é o tempo necessário para começar a gerar tokens, não para gerar a resposta completa. Esses tokens são transmitidos diretamente para a etapa de TTS conforme chegam, então o mais importante é o TTFT. 

Além da escolha do modelo, o tamanho do prompt e da base de conhecimento afetam essa etapa. Quanto mais contexto o LLM precisa considerar, mais tempo ele leva. Ao projetar esses sistemas em escala, é importante encontrar o equilíbrio certo entre uma base de conhecimento útil e um prompt enxuto para manter a velocidade.

Síntese de fala

A latência do TTS é o tempo entre receber os primeiros tokens do modelo de linguagem e o início do áudio. Como os tokens chegam mais rápido do que a fala humana é reproduzida, o modelo de síntese nunca espera pela resposta completa. A latência de TTS é estritamente o tempo até o primeiro trecho de áudio. 

Essa etapa costumava ser a maior contribuição individual para a latência da IA conversacional, com modelos mais antigos levando de 2 a 3 segundos para começar a gerar fala. O Flash v2.5 da ElevenLabs resolve isso diretamente, oferecendo síntese de fala com cerca de 75 ms de latência e reduzindo esse gargalo de segundos para uma fração de segundo.

Latência de rede

Enviar dados de um local para outro sempre adiciona latência, e a distância geográfica só agrava a latência de ida e volta na rede. 

Como vários componentes trabalham juntos para gerar uma resposta de ponta a ponta, uma latência significativa pode se acumular em diversos saltos de rede. 

Chamadas de função

Chamadas de função adicionam idas e voltas à API na etapa do LLM. Uma consulta interna rápida adiciona dezenas de milissegundos, enquanto um processador de pagamentos ou sistema de inventário pode adicionar segundos. A quantidade de latência depende inteiramente do serviço chamado, o que torna essa a etapa mais difícil de otimizar diretamente. 

O padrão mais eficaz é instruir o LLM a responder antes que a chamada da ferramenta seja concluída. Uma frase como “Vou verificar isso para você” mantém o usuário engajado enquanto a chamada externa é resolvida, em vez de deixá-lo em silêncio. A resposta por voz começa enquanto a ferramenta é executada em paralelo.

Como reduzir a latência da IA conversacional

Reduzir a latência da IA conversacional exige abordar cada etapa do pipeline em ordem de impacto. Embora melhorias individuais afetem a latência, você precisará trabalhar todo o pipeline de forma holística para obter a maior mudança.

Veja alguns princípios que podem orientar a redução da latência da IA conversacional em alto nível:

• Seleção do modelo de TTS: Modelos de TTS otimizados para velocidade, como o Flash v2.5, usam arquiteturas diferentes de modelos otimizados para qualidade, como o Eleven v3. Para agentes de voz em tempo real, a escolha certa é o modelo de maior qualidade que atende à sua meta de latência — quase sempre um modelo otimizado para velocidade.
• Seleção do modelo de LLM: LLMs menores e mais rápidos geralmente produzem um tempo até o primeiro token menor do que os maiores. Escolher o LLM mais rápido que ainda atende ao seu padrão de qualidade para a tarefa é tão importante quanto a escolha do modelo de TTS.
• Streaming: O streaming de TTS retorna áudio em trechos à medida que a síntese avança, para que o usuário ouça a primeira palavra enquanto o modelo ainda gera o restante. Esse conceito também se aplica à saída do LLM: iniciar a síntese de TTS na primeira frase enquanto o modelo de linguagem gera as seguintes pode recuperar parte da latência do pipeline. 
• Prompt de sistema design: Os usuários podem simplificar prompts de sistema movendo instruções para procedimentos ou workflows, em vez de mantê-las como parte de cada etapa de decisão. Isso reduz a quantidade de contexto sobre a qual o modelo precisa raciocinar a cada turno.
• Proteções: Executar proteções no modelo de streaming permite que a saída comece a ser reproduzida antes da conclusão da verificação, em vez de bloquear a reprodução até que ela termine.
• Colocalização de modelos: Usar modelos colocalizados sempre que possível, como na stack de Agents da ElevenLabs, mantém os componentes próximos e evita que a latência aumente com os saltos entre modelos hospedados separadamente.
• Geografia: A proximidade entre seus servidores e seus usuários pode reduzir significativamente a latência, pois diminui diretamente a contribuição da rede para o TTFA de ponta a ponta. 

Além desses fatores, você pode usar este guia técnico sobre otimização de latência para mais detalhes. 

Comece a usar IA conversacional de baixa latência com o ElevenAgents

A latência da IA conversacional é um aspecto muito importante a considerar ao criar e implementar agentes. Com o ElevenAgents, a otimização de latência faz parte do processo. De técnicas de sobreposição para recuperar tempo à baixa latência de inferência nos componentes individuais, o ElevenAgents cria stacks de IA conversacional de baixa latência para sua empresa. 

No fim das contas, o objetivo é criar realismo. O usuário precisa sentir a facilidade de conversar com uma pessoa enquanto aproveita os benefícios de um programa de computador. Ao otimizar os subprocessos, isso agora é possível.

Saiba mais sobre o ElevenAgents ou fale com a equipe de vendas para começar hoje.

Perguntas frequentes sobre latência de IA conversacional