Modelos em Cascata vs. Fundidos: Como a arquitetura define se seu agente de voz está pronto para empresas

A maioria das pessoas pensa que agentes de voz são criados usando uma arquitetura em cascata ou fusionada. Na prática, os agentes são projetados em um espectro entre as duas, com cinco arquiteturas normalmente usadas dependendo da aplicação.

A arquitetura do agente determina sua capacidade de se comportar de forma confiável em produção, adaptar-se a requisitos específicos do negócio e soar natural em uma conversa. Uma arquitetura baseada em fusão, como o modelo Realtime da OpenAI, pode soar impressionantemente realista em interações curtas. Mas, quando as equipes precisam aplicar diretrizes de conformidade, depurar uma resposta com falha ou trocar por um LLM mais avançado lançado no mês seguinte, uma única rede fusionada oferece poucas alternativas.

Na ElevenLabs, usamos uma arquitetura avançada baseada em cascata. Aproveitamos componentes especializados para reconhecimento de fala, raciocínio e geração de fala, oferecendo altos níveis de inteligência e confiabilidade. Adicionamos prosódia contextual, otimização para baixa latência e alternância de turnos inteligente para que as conversas fluam naturalmente. Criamos dessa forma porque as empresas e os governos com que trabalhamos precisam de agentes que soem realistas e sejam confiáveis em produção para tarefas complexas. 

Este artigo apresenta as cinco principais arquiteturas, seus pontos fortes, onde elas têm limitações e como pensamos a base para agentes implementados em fluxos de trabalho críticos.

O que as equipes avaliam ao escolher uma arquitetura

As perguntas que as equipes fazem normalmente se dividem em três categorias.

Ela consegue lidar com tarefas complexas?

• Flexibilidade de raciocínio e modelos: Você pode escolher os melhores modelos para seu caso de uso, incluindo os LLMs mais avançados disponíveis, e atualizar à medida que surgem opções melhores?
• Lógica do agente: Você pode definir e controlar os fluxos de conversa, as regras de decisão e os caminhos de escalonamento que seu agente segue?
• Uso de ferramentas: A arquitetura consegue oferecer suporte a chamadas de ferramentas em várias etapas e integrações com sistemas externos?

Ela vai soar e parecer humana?

• Prosódia: O agente transmite ritmo, entonação e tom emocional naturais?
• Latência: As respostas são rápidas o bastante para parecer uma conversa?
• Alternância de turnos: O agente sabe quando falar, pausar ou ceder a vez?

Posso confiar nela em produção?

• Confiabilidade: O agente se comporta de forma previsível e consistente ou se desvia com o tempo?
• Diretrizes de segurança: A arquitetura consegue aplicar proteções contra respostas indesejadas ou usuários adversariais?
• Transparência: A arquitetura produz resultados intermediários ou é uma caixa-preta?

As concessões entre arquiteturas em cascata e fusionadas

As arquiteturas baseadas em cascata são criadas conectando componentes especializados: Speech to Text (STT), um modelo de linguagem de grande escala e Text to Speech (TTS). Cada etapa pode ser otimizada, testada e atualizada de forma independente. 

Arquitetura em cascata

Essa modularidade torna as arquiteturas em cascata a base da maioria dos agentes de nível empresarial. Cada etapa produz resultados inspecionáveis: texto legível entre o STT e o LLM, e entre o LLM e o TTS. As diretrizes de segurança podem ser aplicadas na camada de texto, o LLM de fronteira mais recente pode ser integrado sem modificar os modelos de fala e, quando algo falha, geralmente é possível identificar a origem da falha.

A crítica recorrente às arquiteturas em cascata é que elas perdem sinais prosódicos. A fala é reduzida a texto, e entonação, ritmo e emoção precisam ser reconstruídos na saída. Esses sinais podem ser parcialmente recuperados por meio de modelagem explícita, mas não são capturados de forma tão natural quanto nas abordagens fusionadas. Outras dimensões, como latência e alternância de turnos, normalmente podem ser otimizadas para níveis de desempenho comparáveis em ambas as abordagens.

Modelo fusionado

As arquiteturas fusionadas adotam uma abordagem fundamentalmente diferente. Reconhecimento, raciocínio e geração acontecem dentro de uma única rede multimodal. O áudio entra e sai, sem nenhuma camada inspecionável no meio.

Essa ausência de etapas intermediárias é, ao mesmo tempo, seu atrativo e sua limitação. A arquitetura fusionada pode preservar sinais prosódicos naturalmente, porque a fala nunca é decomposta em texto. No entanto, há pouca capacidade de aplicar diretrizes de segurança, trocar componentes individuais ou inspecionar resultados intermediários para depurar problemas. Também há limitações para ajustar o STT a terminologia específica do setor ou integrar um LLM diferente para obter raciocínio mais avançado e chamadas de ferramentas. O sistema é uma única rede, e as equipes ficam limitadas aos recursos de raciocínio com que ela vem, o que hoje significa núcleos mais leves que não conseguem igualar os LLMs de fronteira em tarefas complexas.

As cinco arquiteturas

1. Cascata básica

O áudio é transcrito, o LLM gera uma resposta em texto e o TTS a reproduz em voz. Cada etapa opera com texto simples, então você pode visualizar, testar e controlar tudo.

As vantagens em termos de confiança são claras: diretrizes de segurança na camada de texto, fluxos de conversa determinísticos e trilhas completas de auditoria. Como o LLM é um componente independente, você pode combinar o agente com o modelo de fronteira que ofereça os melhores recursos de raciocínio ou chamadas de ferramentas e atualizá-lo assim que surgir uma opção melhor. O ponto fraco é a qualidade da conversa: sem TTS contextual, o agente soa funcional, mas sem nuances. Não há adaptação emocional nem variação prosódica, o que é aceitável para informar saldos de conta, mas inadequado para atender um cliente frustrado.

Exemplos de casos de uso:

• Substituição de IVR em telecomunicações e serviços públicos
• Atendimento de perguntas frequentes na integração de usuários de SaaS
• Notificações ativas, como confirmações de consulta, lembretes de receita e alertas de entrega, em que a consistência importa mais do que a cordialidade

2. Cascata avançada

A mesma arquitetura modular, mas agora vários componentes operam com um contexto mais rico. Foi isso que criamos com o Modo Expressivo no ElevenAgents.

O modelo STT Scribe v2 Realtime produz transcrições rápidas e precisas com base no contexto anterior da conversa. A partir do texto, o LLM instrui o TTS sobre como transmitir a fala — não apenas o que dizer — com orientações como "de modo tranquilizador", "com ênfase" e "com urgência", adaptando dinamicamente seu tom ao longo da conversa. O sistema de alternância de turnos usa os mesmos sinais, permitindo que o agente determine quando responder e quando ceder a vez. Os modelos de fala ficam no mesmo stack, sem saltos de rede entre os componentes, mantendo a latência baixa.

A arquitetura mantém tudo da cascata básica: transparência total, diretrizes de segurança na camada de texto, possibilidade de trocar componentes, ajuste ao domínio e acesso aos melhores modelos disponíveis para chamadas de ferramentas e raciocínio. Ela acrescenta melhorias significativas em prosódia, latência e alternância de turnos. As equipes podem integrar um novo LLM de fronteira na semana em que ele é lançado ou ajustar o STT para o setor de saúde à terminologia do setor, sem precisar reconstruir nenhum outro componente.

Exemplos de casos de uso:

• Atendimento ao cliente em serviços financeiros, em que uma resposta empática em uma ligação sobre cobrança contestada se combina a diretrizes rigorosas de conformidade e ao registro completo das interações
• Recepcionistas da área da saúde que fazem a triagem de ligações de pacientes com a urgência adequada, fluxos compatíveis com a HIPAA e reconhecimento de fala ajustado ao domínio para terminologia médica
• Assistentes de vendas que mantêm um tom acolhedor e persuasivo enquanto seguem um roteiro estruturado e enviam atualizações ao CRM

3. Cascata híbrida e fusionada

Algumas arquiteturas enviam características acústicas da fala de entrada — pronúncia, emoção e tom — diretamente ao LLM como embeddings, em vez de primeiro convertê-las em texto. O TTS continua modular.

Isso fornece ao LLM informações mais ricas sobre como algo foi dito, e não apenas sobre o que foi dito, o que é valioso para aplicações específicas. O bloco fusionado de ASR+LLM é mais difícil de auditar do que uma transferência limpa de texto, pois a representação intermediária é um embedding, não algo que uma pessoa consiga ler. Também não é mais fácil trocar o LLM, o que limita seus recursos de raciocínio e chamadas de ferramentas ao modelo em torno do qual o bloco fusionado foi criado.

Exemplos de casos de uso:

• Aprendizado de idiomas e treinamento de pronúncia, em que ouvir como um aluno fala importa tanto quanto o que ele diz
• Atendimento sensível ao tom e de baixa complexidade, em que detectar frustração importa, mas a tarefa em si é simples.

4. Fusionada sequencial

Um único modelo multimodal lida com reconhecimento, raciocínio e geração em uma única passagem, um turno por vez.

A prosódia pode ser forte. Como a fala nunca é decomposta em texto, o modelo preserva naturalmente o ritmo, a entonação e os sinais emocionais. Conversas breves podem soar surpreendentemente fluidas.

Mas há pouca capacidade de aplicar diretrizes de segurança sem uma camada de texto, poucos resultados intermediários para depuração e pouca flexibilidade para trocar por um LLM melhor ou ajustar o STT ao seu domínio. Os núcleos de raciocínio tendem a ser mais leves do que os LLMs de fronteira, portanto chamadas de ferramentas complexas e tarefas de várias etapas são prejudicadas. Quando a tarefa exige resolver um problema complexo, a prosódia por si só não é suficiente.

Exemplos de casos de uso:

• Companheiros pessoais, chatbots de entretenimento e aplicações em que a expressividade impulsiona o engajamento e os requisitos de conformidade são mínimos.

5. Fusionada duplex

A entrada e a saída são processadas simultaneamente: o modelo ouve e fala ao mesmo tempo. Isso pode fazer com que interações breves pareçam impressionantemente naturais, com fala realmente sobreposta e transições de turno fluidas.

Também é a arquitetura mais difícil de controlar, as diretrizes de segurança são muito difíceis de aplicar e a sobreposição de falas introduz erros imprevisíveis. Inspecionar, registrar ou depurar é extremamente difícil, e o sistema é em grande parte fechado, com poucas opções para trocar componentes, ajustar ao domínio ou personalizar. O raciocínio e o uso de ferramentas são ainda mais limitados do que nos modelos fusionados sequenciais, pois o processamento simultâneo deixa menos capacidade para lógica complexa. E o mesmo processamento simultâneo que torna interações curtas naturais deixa conversas mais longas instáveis.

Exemplos de casos de uso:

• Apps experimentais de companhia, plataformas sociais de voz e demonstrações de pesquisa em que comportamentos imprevisíveis são aceitáveis.

Como escolher a arquitetura certa para seu caso de uso

A arquitetura certa depende do que uma determinada aplicação exige. Se você está criando uma experiência em que uma fala natural é o principal recurso, as arquiteturas fusionadas oferecem vantagens reais, caso esteja disposto a abrir mão de raciocínio de fronteira, diretrizes de segurança e transparência. Embora os modelos fusionados liderem em prosódia, os sistemas avançados em cascata estão se aproximando a cada trimestre, enquanto os modelos fusionados não fizeram avanços significativos em raciocínio complexo ou confiabilidade devido a limitações no nível da arquitetura.

Para a maioria das empresas e governos, a melhor arquitetura é aquela que soa muito bem e também é capaz, personalizável, confiável e pronta para ser implementada em escala. Por isso, escolhemos criar o ElevenAgents usando uma arquitetura avançada em cascata, com investimentos no Modo Expressivo e modelos de ponta, co-otimizados para Speech to Text e Text to Speech. Isso permite que as equipes criem agentes com altos níveis de inteligência, confiabilidade e controle, combinados a uma fala natural e humana.

À medida que os agentes de IA se expandem no atendimento ao cliente, na educação, nos assistentes pessoais e em outras áreas, aqueles que tiverem sucesso serão criados com arquiteturas adaptadas às suas aplicações específicas.