O que é latência de IA conversacional e o que a afeta?

Para a IA conversacional, a latência é o que diferencia aplicações boas de excelentes.

A IA conversacional é, por natureza, aspiracional. Ela busca reproduzir a mesma sensação de conversar com uma pessoa, espelhando a mesma variedade emocional, entonação e cadência. Se acrescentarmos o que parece uma pausa “natural” entre o momento em que você para de falar e aquele em que um agente de IA começa a responder, temos uma meta de latência baseada na forma como as pessoas realmente se comunicam. 

Empresas que querem implementar agentes de IA conversacional em escala precisam reduzir essa latência o máximo possível para alcançar essa impressão de naturalidade. Este artigo explica o que é a latência da IA conversacional, o que causa atrasos em todo o pipeline e apresenta uma visão geral de como reduzi-los. 

Resumo

• A latência da IA conversacional é o atraso total de ponta a ponta entre o momento em que um usuário para de falar e o momento em que ouve a primeira palavra do agente.
• Agentes com mais de 700 ms podem parecer pouco naturais, e aqueles acima de 1.200 ms têm altas taxas de abandono.
• A latência se acumula em todas as etapas do pipeline de IA conversacional.
• O ElevenAgents gerencia todo o pipeline em uma única arquitetura unificada, tornando a IA conversacional de baixa latência acessível para sua empresa.

O que é latência de IA conversacional?

A latência de IA conversacional se refere ao tempo total que um sistema leva para responder depois que você fala. Em modelos modernos de IA, a latência é medida em ms. Nos bastidores, o valor total de latência é, na verdade, composto por vários processos separados, cada um contribuindo para uma parte do pipeline de ponta a ponta. 

Um pipeline típico de IA conversacional funciona assim:

1. Um usuário fala
2. O áudio é transcrito por um modelo de Speech to Text
3. A transcrição é enviada a um modelo de LLM, que produz uma resposta
4. O texto do LLM é então sintetizado em áudio com um modelo de Text to Speech
5. O áudio é então reproduzido para o usuário

Cada uma dessas etapas adiciona latência a um sistema de IA conversacional. Por isso, ao falar de latência, há algumas siglas diferentes que precisam ser esclarecidas.

Latência de inferência do modelo

A latência de inferência do modelo é o tempo que um modelo leva para gerar uma saída, medido internamente e sem considerar fatores externos. É a medida específica do modelo de quão rápido seu mecanismo funciona com entradas típicas. Por exemplo, o Flash v2.5 tem uma latência de inferência de cerca de 75 ms. Com isso, você pode comparar a velocidade dos modelos entre concorrentes.

Ainda assim, lembre-se de que esse não é o valor de latência que o usuário realmente percebe. Ele se refere especificamente ao tempo total que um modelo leva para gerar uma saída.

Tempo até o primeiro token do LLM

O tempo até o primeiro token (TTFT) de um modelo de linguagem grande (LLM) é o tempo total que o modelo leva para processar um prompt e gerar seu primeiro token de saída utilizável.

A geração de TTS começa quando o primeiro token chega do seu LLM. Portanto, essa é uma medida de quanto tempo o LLM leva para começar a acionar seu modelo de TTS. Na maioria dos sistemas de IA conversacional de ponta a ponta, o TTFT do LLM representa uma parte significativa da latência total. 

Tempo até o primeiro áudio do TTS (TTFA)

O tempo até o primeiro áudio do TTS (TTFA) mede o tempo entre a primeira solicitação de TTS e o momento em que o primeiro trecho de áudio realmente sai do modelo. É uma forma de descrever a latência de inferência do modelo, mas especificamente para mecanismos de TTS. 

Tempo de ponta a ponta até o primeiro áudio (TTFA)

O TTFA de ponta a ponta é a latência total da IA conversacional. É a soma de todas as partes do pipeline, desde o reconhecimento de fala, o TTFT do LLM, o TTS, o TTFA e todas as transmissões de rede entre as etapas. Ao falar da latência da IA conversacional como um todo, esta é a métrica que o usuário percebe.

Quando falam, os usuários aguardam o TTFA de ponta a ponta antes de ouvir qualquer resposta do seu agente. É uma medida holística, o que significa que melhorar qualquer parte do pipeline a melhora. 

Por que a latência da IA conversacional importa

Quando um usuário conversa com seu agente de IA, a latência se torna um fator central na forma como ele percebe essa experiência. Tempos de latência baixos reduzem o tempo de espera por uma resposta, ajudando a conversa a parecer natural e seu agente a demonstrar capacidade. 

Agentes com alta latência parecem artificiais e menos competentes, mesmo que a qualidade de suas respostas seja a mesma. Para as empresas, até uma diferença de algumas centenas de ms pode parecer uma eternidade, fazendo com que seu agente de suporte ao cliente pareça travado e ineficaz.

Veja alguns cenários que demonstram, na prática, por que a latência da IA conversacional importa:

• Menos de 500 ms: Um agente conversacional parece responsivo e fluido. Os usuários podem nem perceber o atraso entre parar de falar e receber a primeira resposta, permitindo que a conversa flua sem interrupções.
• De 500 ms a 1.000 ms: O atraso entre o momento em que o usuário para de falar e recebe uma resposta pode se tornar perceptível. É só um pouco longo demais, então os usuários podem tentar se antecipar repetindo o que disseram ou fazendo uma pausa para verificar se o agente realmente os entendeu.
• Acima de 1.000 ms: Os atrasos começam a parecer lentos, com pausas que fazem alguns usuários sentir que o agente de IA não acompanha totalmente a conversa. As transcrições podem mostrar interrupções ocasionais ou pedidos para falar com um agente humano. Em alguns casos, os usuários podem abandonar a ligação.

Cada um desses limites se traduz em resultados reais para a empresa. 

Na faixa mais baixa do espectro de latência, você terá um agente de atendimento ao cliente capaz de lidar naturalmente com perguntas recebidas e ajudar os usuários a resolver suas dúvidas sem ajuda adicional. Isso reduz a carga sobre seus agentes humanos e mantém a satisfação do cliente alta. Na faixa mais alta do espectro de latência, você frustrará seus clientes com um agente que parece hesitar por tempo demais. 

Definimos os benchmarks de orçamento de latência para agentes de voz em outro artigo para demonstrar como é uma boa latência nos valores P50 e P95. 

O que causa latência na IA conversacional?

Latência de IA conversacional é um termo que resume diversos processos, e cada segmento contribui para o total. Com isso em mente, o gargalo para alcançar baixa latência é mais um problema de nível de sistema do que algo resolvido simplesmente escolhendo um modelo melhor. Afinal, vários modelos interagem no pipeline.

Para desenvolvedores, escrevemos um guia técnico detalhado sobre otimização de latência de agentes de voz que você pode usar para melhorar cada etapa do tempo de ponta a ponta até o primeiro áudio (TTFA).

Além do pipeline principal, outros fatores, como telefonia e chamadas de função, também adicionam latência, mesmo não fazendo parte da infraestrutura interna dos modelos. 

Veja uma visão geral de todos os fatores que contribuem para a latência da IA conversacional. 

Reconhecimento automático de fala

A latência do reconhecimento de fala não é o tempo necessário para gerar uma transcrição. O processo de transcrição é executado em segundo plano enquanto o usuário fala; portanto, quando a fala termina, o texto já está em grande parte pronto. 

A latência aqui é, na verdade, o intervalo entre o fim da fala e o momento em que a transcrição é finalizada e enviada à próxima etapa. O Scribe v2 Realtime reduz esse intervalo para aproximadamente 150 ms, transmitindo continuamente para que a saída esteja pronta no momento em que o turno termina.

Alternância de turnos e detecção de fim de fala 

Um Detector de Atividade de Voz (VAD) fica entre o reconhecimento de fala e o modelo de linguagem. Sua função é decidir quando o usuário realmente terminou de falar. 

Para evitar erros, o VAD espera um limite de silêncio contínuo antes de declarar o turno encerrado, e essa espera adiciona latência antes que o modelo de linguagem processe uma palavra. Essa pequena latência extra de fato aumenta o tempo, mas também evita que o sistema comece a responder enquanto o usuário ainda está falando. 

Tecnicamente, se todos os outros componentes da IA conversacional tivessem latência zero, a latência atribuída à alternância de turnos seria algo positivo. Os humanos fazem uma breve pausa antes de responder à fala. Uma máquina que faz uma pausa semelhante dá mais realismo à interação. Porém, como outros componentes da IA conversacional já geram latência, o ideal é que ela seja mínima.

Processamento do modelo de linguagem

Quando a transcrição está pronta no mecanismo de Speech to Text (STT), o modelo de linguagem gera uma resposta. Aqui, a latência é o tempo necessário para começar a gerar tokens, não para gerar a resposta completa. Esses tokens são transmitidos diretamente para a etapa de TTS à medida que chegam, então o mais importante é o TTFT. 

Além da escolha do modelo, tanto o tamanho do prompt quanto o da base de conhecimento afetam essa etapa. Quanto mais contexto o LLM precisa considerar, mais tempo leva. Ao projetar esses sistemas em escala, é importante encontrar o equilíbrio certo entre uma base de conhecimento útil e um prompt conciso para manter a velocidade.

Síntese de fala

A latência do TTS é o tempo entre receber os primeiros tokens do modelo de linguagem e o início do áudio. Como os tokens chegam mais rápido do que a fala humana é reproduzida, o modelo de síntese nunca espera pela resposta completa. A latência de TTS é estritamente o tempo até o primeiro trecho de áudio. 

Esta etapa costumava ser a maior contribuição individual para a latência da IA conversacional, com modelos mais antigos levando de 2 a 3 segundos para começar a gerar fala. O Flash v2.5 da ElevenLabs resolve isso diretamente, oferecendo síntese de fala com latência de ~75 ms e reduzindo esse gargalo de segundos para uma fração de segundo.

Latência de rede

Enviar dados de um local para outro sempre adiciona latência, e a distância geográfica apenas agrava a latência de ida e volta da rede. 

Como vários componentes trabalham juntos para gerar uma resposta de ponta a ponta, uma latência significativa pode se acumular ao longo de vários saltos de rede. 

Chamada de funções

Chamadas de função adicionam viagens de ida e volta pela API na etapa do LLM. Uma consulta interna rápida adiciona dezenas de milissegundos, enquanto um processador de pagamentos ou sistema de inventário pode adicionar segundos. A quantidade de latência depende inteiramente do serviço chamado, o que torna essa a etapa mais difícil de otimizar diretamente. 

O padrão mais eficaz é instruir o LLM a responder antes que a chamada da ferramenta seja concluída. Uma frase como "Vou verificar isso para você" mantém o usuário engajado enquanto a chamada externa é resolvida, em vez de deixar silêncio. A resposta em voz começa enquanto a ferramenta é executada em paralelo.

Como reduzir a latência da IA conversacional

Reduzir a latência da IA conversacional exige abordar cada etapa do pipeline conforme seu impacto. Embora melhorias individuais afetem a latência, será preciso trabalhar em todo o pipeline de forma holística para obter a maior mudança.

Veja alguns princípios que podem orientar você, em alto nível, a reduzir a latência da IA conversacional:

• Seleção do modelo de TTS: Modelos de TTS otimizados para velocidade, como o Flash v2.5, usam arquiteturas diferentes dos modelos otimizados para qualidade, como o Eleven v3. Para agentes de voz em tempo real, a escolha certa é o modelo de maior qualidade que atenda à sua meta de latência — quase sempre um modelo otimizado para velocidade.
• Seleção do modelo de LLM: Em geral, LLMs menores e mais rápidos produzem um tempo até o primeiro token menor do que os maiores. Escolher o LLM mais rápido que ainda atende ao seu padrão de qualidade para a tarefa é tão importante quanto escolher o modelo de TTS.
• Streaming: O streaming de TTS retorna o áudio em trechos à medida que a síntese avança, para que o usuário ouça a primeira palavra enquanto o modelo ainda gera o restante. Esse conceito também se aplica à saída do LLM: iniciar a síntese de TTS na primeira frase enquanto o modelo de linguagem gera as seguintes pode recuperar latência do pipeline. 
• Prompt de sistema: Os usuários podem simplificar prompts de sistema movendo instruções para procedimentos ou workflows, em vez de mantê-las como parte de cada etapa de decisão. Isso reduz a quantidade de contexto que o modelo precisa processar a cada turno.
• Barreiras de segurança: Executar barreiras de segurança no modelo de streaming permite que a saída comece a ser reproduzida antes de a verificação ser concluída, em vez de bloquear a reprodução até o fim da verificação.
• Colocalização de modelos: Usar modelos colocalizados sempre que possível, como na stack do ElevenLabs Agents, mantém os componentes próximos para que a latência não seja adicionada por saltos entre modelos hospedados separadamente.
• Geografia: A proximidade entre seus servidores e seus usuários pode reduzir significativamente a latência, pois reduz diretamente a contribuição da rede para o TTFA de ponta a ponta. 

Além desses fatores, você pode usar este guia técnico sobre otimização de latência para mais detalhes. 

Comece a usar IA conversacional de baixa latência com o ElevenAgents

A latência da IA conversacional é um aspecto essencial a considerar ao criar e implementar agentes. Com o ElevenAgents, a otimização de latência faz parte do processo. De técnicas de sobreposição para recuperar tempo à baixa latência de inferência nos componentes individuais, o ElevenAgents cria stacks de IA conversacional de baixa latência para sua empresa. 

No fim das contas, o objetivo é criar realismo. O usuário precisa sentir a facilidade de conversar com uma pessoa enquanto recebe os benefícios de um programa de computador. Ao aprimorar os subprocessos, isso agora é possível.

Saiba mais sobre o ElevenAgents ou fale com vendas para começar hoje.

Perguntas frequentes sobre latência de IA conversacional