Como criamos um Agente de Voz eficaz para nossa própria documentação

Na ElevenLabs, incorporamos recentemente um agente de voz com IA Conversational à nossa documentação para ajudar a reduzir a demanda de suporte relacionada a dúvidas sobre a documentação (teste aqui). Nosso agente de suporte agora atende com sucesso mais de 80% das solicitações dos usuários em 200 chamadas por dia. Esses resultados demonstram o potencial da IA para complementar o suporte tradicional à documentação, ao mesmo tempo que reforçam a importância contínua do suporte humano para questões complexas. Neste post, vou detalhar nosso processo iterativo, que você pode seguir para replicar nosso sucesso. 

Nossos objetivos

Nosso objetivo era criar um agente capaz de:

• Resolver dúvidas de suporte que possam ser respondidas com base no contexto da documentação do produto e de suporte
• Direcionar os usuários a seções relevantes da documentação
• Encaminhar dúvidas complexas ao suporte por e-mail/Discord quando necessário
• Manter uma conversa fluida e natural, com baixa latência e tratamento realista de interrupções

Resultados e impacto

Implementamos duas camadas de avaliação:

(1) Ferramentas de avaliação com IA: em cada chamada, nossas ferramentas integradas de avaliação analisam a conversa concluída e verificam se o agente foi bem-sucedido. Os critérios são totalmente personalizáveis. Perguntamos se o agente resolveu a solicitação do usuário ou conseguiu direcioná-lo a um canal de suporte relevante. 

Conseguimos melhorar continuamente a capacidade do LLM de resolver ou direcionar a solicitação com sucesso, chegando a 80%, segundo nossas ferramentas de avaliação. 

Excluindo chamadas com menos de 1 turno na conversa, o que indica que nenhuma pergunta ou problema foi apresentado pela pessoa que ligou. 

É importante considerar que nem todos os tipos de solicitações ou dúvidas de suporte podem ser resolvidos por um LLM, especialmente em uma startup que desenvolve rápido e inova constantemente, com usuários extremamente técnicos e criativos. Além disso, um LLM de avaliação não avaliará corretamente em 100% dos casos.

(2) Validação humana: para comparar a eficácia das nossas ferramentas de validação por LLM, realizamos uma validação humana de 150 conversas, usando os mesmos critérios de avaliação fornecidos às ferramentas de LLM:

• solved_user_inquiry: definido como sucesso quando o agente respondeu às perguntas do usuário com informações relevantes ou conseguiu direcioná-lo à página ou ao canal de suporte pertinente. 
• • O LLM e a avaliação humana concordaram em 81% dos casos 
• hallucination_kb: este critério verifica a transcrição final e confirma se as respostas fornecidas pelo LLM sobre os produtos da ElevenLabs estão de acordo com as informações da base de conhecimento ou vão além delas. 
• • O LLM e a avaliação humana concordaram em 83% dos casos

A avaliação humana também revelou que 89% das dúvidas de suporte relevantes foram respondidas ou direcionadas corretamente pelo agente de documentação.

Outras descobertas: 

• Várias pessoas que ligaram queriam apenas experimentar e tentar conversar em outros idiomas, sem fazer uma pergunta de suporte. 
• • Atualmente, nossa IA Conversacional oferece suporte a vários idiomas, mas eles precisam ser definidos no início da conversa. 
• Várias pessoas que ligaram iniciam conversas que não são relevantes para o objetivo do agente, que é falar sobre a ElevenLabs, seus produtos e sua documentação. As proteções no prompt ajudaram na maioria das vezes, mas nem sempre. 
• Várias pessoas que ligaram buscavam suporte de programação ou depuração. 

Pontos fortes e limitações

Pontos fortes

O agente baseado em LLM é hábil em resolver perguntas claras e específicas que podem ser respondidas com nossa documentação, direcionar pessoas que ligam à documentação relevante e oferecer orientações iniciais para dúvidas mais complexas. Na maioria desses casos, o agente fornece respostas rápidas, diretas e corretas, que são imediatamente úteis. 

As perguntas incluem: 

• A ElevenLabs tem um endpoint de API para excluir uma voz? 
• Como posso configurar substituições de conversa no meu agente? 
• Como faço a integração com telefonia?
• A ElevenLabs oferece suporte ao idioma espanhol?

Recomendações:

• Direcione-se a um público que, em sua maioria, terá perguntas claras e específicas que um LLM com documentação e ferramentas consegue responder bem. 
• Use redirecionamentos para outros canais em perguntas vagas ou que exijam investigação. Isso ajuda muito! 
• Adicione ferramentas de avaliação para capturar e monitorar todas as perguntas feitas -> ajuste o prompt com base nos aprendizados. Adicione ferramentas de avaliação para medir sucesso e alucinações/desvios da base de conhecimento. 

Limitações

Por outro lado, o agente é menos útil para questões de conta, dúvidas sobre preços/descontos ou perguntas não específicas que se beneficiariam de uma investigação mais aprofundada. Além disso, em questões bastante vagas e genéricas -> mesmo sendo instruído a fazer perguntas, o LLM geralmente prefere responder com algo que possa parecer relevante com base na documentação. 

As perguntas incluem: 

• A etapa de verificação do meu PVC está falhando repetidamente. Por quê? 
• Quanto custará um agente de IA? Posso ter um desconto? 
• Estou recebendo um erro com o SDK de JS? -> O agente pode direcionar à documentação relevante, mas não consegue encontrar e resolver facilmente o problema por voz. 

Recomendações

• A voz não é o meio certo para compartilhar código. Instrua o agente a não tentar fazer isso e, em vez disso, direcionar para páginas com exemplos ou para o Discord/suporte.
• Instrua o agente a não responder com longas listas de recomendações quando os problemas ou dúvidas forem mais complexos. Isso funciona em texto, mas menos por voz.
• Os LLMs tendem a preferir responder a fazer perguntas — instrua-os enfaticamente a perguntar, se isso for necessário para o caso de uso de suporte. (Por exemplo, faça estas 3 perguntas antes de continuar.) Isso é mais fácil em casos de uso ativos com scripts fixos.

Como construímos isso

Configuração do agente: 

Prompt de sistema

“Você é um agente de suporte técnico chamado Alexis. Você tentará responder a quaisquer perguntas que o usuário possa ter sobre os produtos da ElevenLabs. Você receberá documentação sobre os produtos da ElevenLabs e deve usar apenas essas informações para responder a perguntas sobre a ElevenLabs. Você deve ser prestativo, amigável e profissional. Se não conseguir responder à pergunta, redirecione quem ligou com redirectToEmailSupport (que abre um e-mail de suporte para a pessoa); se isso não funcionar, ela poderá enviar um e-mail diretamente para team@elevenlabs.io.

Se a pergunta ou o problema não estiver totalmente claro ou não for específico o suficiente, peça mais detalhes e pergunte sobre qual produto a pessoa está solicitando suporte. Se a pergunta for vaga ou muito ampla, pergunte mais especificamente o que ela está tentando alcançar e como. 

Mantenha-se rigorosamente no idioma da sua primeira mensagem na conversa, mesmo quando receber uma pergunta ou falarem com você em outro idioma. Diga que é melhor encerrar e reiniciar a chamada, selecionando o idioma alternativo desejado.

Sua resposta será lida por um modelo de Text to Speech, portanto deve ser formatada como é pronunciada. Por exemplo: em vez de escrever "entre em contato com team@elevenlabs.io", escreva "entre em contato com 'team arroba elevenlabs ponto I O'". Não formate sua resposta de texto com marcadores, negrito ou cabeçalhos. Não forneça listas longas; em vez disso, resuma-as e pergunte em qual parte o usuário tem interesse. Não forneça exemplos de código; sugira que o usuário veja os exemplos de código em nossa documentação. Retorne a resposta diretamente, não comece respostas com "Agente:" ou algo semelhante. Não corrija erros de ortografia, simplesmente ignore-os.

Responda de forma concisa, em algumas frases, e deixe o usuário orientar você sobre onde dar mais detalhes. 

Você tem as seguintes ferramentas à disposição. Use-as conforme apropriado com base na solicitação do usuário:

`redirectToDocs`:

- Quando usar: na maioria das situações, especialmente quando o usuário precisa de informações ou orientações mais detalhadas.

- Por quê: fornecer acesso direto à documentação é útil para tópicos complexos, garantindo que o usuário possa revisar e entender o conteúdo por conta própria.

`redirectToEmailSupport`:

- Quando usar: se o usuário precisar de ajuda com questões pessoais ou específicas da conta.

- Por quê: dúvidas relacionadas à conta são mais bem atendidas pela nossa equipe de suporte por e-mail, onde ela pode acessar com segurança os detalhes relevantes.

`redirectToExternalURL`:

- Quando usar: se o usuário perguntar sobre soluções de nível empresarial ou quiser participar de comunidades externas, como nosso servidor no Discord. Também se parecer ser um desenvolvedor com dificuldades técnicas na ElevenLabs.

- Por quê: consultas empresariais e interações com a comunidade estão fora do escopo do suporte direto na plataforma e são mais bem atendidas por links externos.

Proteções:

- Restrinja-se a tópicos e produtos relacionados à ElevenLabs. Se alguém perguntar sobre assuntos que não sejam da ElevenLabs, diga que você está aqui apenas para responder sobre produtos da ElevenLabs.

- Direcione quem ligou para apenas uma página por vez, pois cada redirecionamento substitui o anterior.

- Não responda com listas longas ou código. Em vez disso, direcione à documentação para ver exemplos de programação.”

Base de conhecimento

Além do prompt, fornecemos ao LLM uma base de conhecimento com informações relevantes no contexto. Essa base inclui uma versão resumida, mas ainda extensa (80 mil caracteres), de toda a documentação da ElevenLabs, além de algumas URLs relevantes. 

Também estamos adicionando esclarecimentos e perguntas frequentes como parte da base de conhecimento. 

Ferramentas

Temos três ferramentas configuradas:

• redirectToExternalURL: redireciona para falar com vendas ou para o Discord. 
• redirectToEmailSupport: abre um e-mail para team@elevenlabs.io
• redirectToDocs: esta ferramenta é configurada para direcionar quem ligou a páginas relevantes em nossa documentação.

Avaliação integrada 

Nossas ferramentas de avaliação envolvem um LLM que analisa a transcrição final e avalia a conversa com base em critérios definidos. 

Critérios de avaliação (sucesso / falha / desconhecido)

• hallucination_kb: este critério verifica a transcrição final e confirma se as respostas fornecidas pelo LLM sobre os produtos da ElevenLabs estão de acordo com as informações da base de conhecimento ou vão além delas. 
• interaction: avalia se a conversa teve mais de um turno. Uma forma rápida de identificar conversas que foram iniciadas, mas não tiveram interação. 
• solved_user_inquiry: definido como sucesso quando o agente respondeu às perguntas do usuário com informações relevantes ou conseguiu direcioná-lo à página ou ao canal de suporte pertinente. 
• positive_interaction: avalia se a conversa ocorreu sem reações negativas da pessoa que ligou. 

Coleta de dados:

• Issue_type: categoriza a conversa como bug, problema de suporte, FR ou outro
• Categoria do produto: extrai o produto relevante (TTS, ConvAI etc.) 
• AllQuestions: extrai todas as perguntas feitas pela pessoa que ligou 
• Unsolved_question: extrai as perguntas que o LLM não respondeu com informações relevantes
• Redirects: extrai os caminhos de redirecionamento acionados pelo agente e a reação da pessoa que ligou

Resumo

Nosso agente de documentação se mostrou eficaz para ajudar os usuários a navegar por dúvidas comuns sobre produtos e suporte, além de ser um copiloto envolvente para quem navega em nossa documentação. Conseguimos iterar e melhorar continuamente nosso agente por meio de monitoramento automatizado e manual. Reconhecemos que nem todos os tipos de solicitações ou dúvidas de suporte podem ser resolvidos por um LLM, especialmente em uma startup que desenvolve rápido e inova constantemente, com usuários extremamente técnicos e criativos. Mas descobrimos que, quanto mais conseguimos automatizar, mais tempo nossa equipe pode dedicar a resolver os problemas desafiadores e interessantes que surgem nas margens, enquanto nossa comunidade continua ampliando os limites do que é possível com áudio criado com IA. 

Nosso agente é desenvolvido com a IA Conversacional da ElevenLabs. Se você quiser reproduzir meus resultados, pode criar uma conta grátis e seguir minhas etapas. Se tiver dificuldades, fale com o agente que implementamos em nossa documentação ou entre em contato comigo e minha equipe no Discord. Para casos de uso de alto volume (>100 chamadas por dia), fale com nossa equipe de vendas sobre descontos por volume.