Testando Agentes de Conversação com IA

Quando agentes de voz conversacionais entram no ar, como monitorá-los em escala? Como identificar quando não estão se comportando como esperado? E, depois de fazer alterações, como testá-los?

Essas perguntas orientaram nosso trabalho no El, nosso assistente de documentação com tecnologia de IA Conversacional. À medida que o El evoluiu, criamos um sistema para monitorar, avaliar e testar agentes, baseado em critérios de avaliação e simulações de conversas.

Estabelecendo a base: critérios de avaliação confiáveis

A melhoria de qualquer agente começa entendendo como ele se comporta em situações reais. Isso exigiu refinar nossos critérios de avaliação e garantir que fossem precisos e confiáveis o bastante para monitorar o desempenho do agente. Definimos uma conversa malsucedida como aquela em que o agente fornece informações incorretas ou não ajuda o usuário a alcançar seu objetivo.

Desenvolvemos os seguintes critérios de avaliação:

• Interação: esta é uma conversa válida? O usuário fez perguntas relevantes? A conversa fez sentido?
• Interação positiva: o usuário saiu satisfeito ou ficou confuso ou frustrado?
• Compreensão da causa raiz: o agente identificou corretamente o problema subjacente do usuário?
• Resolução da solicitação do usuário: o agente resolveu o problema do usuário ou ofereceu um método alternativo de suporte?
• Alucinação: o agente inventou informações que não constam na base de conhecimento?

Se Interação falhar, a conversa em si não é válida. Se qualquer outro critério falhar, investigamos mais a fundo. A investigação orienta como melhoramos o agente. Às vezes, trata-se de aprimorar o uso das ferramentas ou o momento em que são usadas. Em outras, de adicionar proteções para evitar ações não compatíveis.

Iterando com confiança: API de Simulação de Conversas

Depois de identificar o que precisa melhorar, a próxima etapa é testar. É aí que entra nossa API de Simulação de Conversas . Ela simula cenários realistas de usuários — tanto de ponta a ponta quanto em segmentos específicos — e avalia automaticamente os resultados usando os mesmos critérios que aplicamos em produção. Ela oferece suporte à simulação de ferramentas e a avaliações personalizadas, com flexibilidade para testar comportamentos específicos.

Usamos duas abordagens:

• Simulações completas: Teste conversas completas do início ao fim.
• Simulações parciais: Comece no meio da conversa para validar pontos de decisão ou subfluxos. Esse é nosso método preferido para testes unitários, pois permite iteração rápida e depuração direcionada.

Cenários claros e focados nos permitem controlar o que está sendo testado no LLM, garantindo cobertura para casos extremos, uso de ferramentas e lógica de fallback.

Automatizando em escala: incorporando testes ao CI/CD

A peça final é a automação. Usamos as APIs abertas da ElevenLabs para conectar a avaliação e a simulação ao nosso fluxo de DevOps no GitHub, incorporando-as ao nosso pipeline de CI/CD. Cada atualização é testada automaticamente antes da implantação. Isso evita regressões e nos dá feedback rápido sobre o desempenho em situações reais.

Resultados: um El mais forte e inteligente

Esse processo transformou a forma como desenvolvemos e mantemos o El. Criamos um ciclo de feedback que conecta o uso real à avaliação estruturada, aos testes direcionados e à validação automatizada, permitindo lançar melhorias mais rapidamente e com mais confiança.

E essa é uma estrutura que agora podemos aplicar a qualquer agente que criamos.