MonitorarAnálise de conversas

Avaliação de sucesso

Defina critérios personalizados para avaliar a qualidade das conversas, o alcance de metas e a satisfação dos clientes.

A avaliação de sucesso permite definir metas e métricas de sucesso personalizadas para suas conversas. Cada critério é avaliado em relação à transcrição da conversa e retorna um resultado de success, failure ou unknown, junto com uma justificativa detalhada.

Visão geral

A avaliação de sucesso usa análises com tecnologia de LLM para avaliar a qualidade das conversas em relação aos seus objetivos comerciais específicos. Isso permite medir o desempenho e assegurar a qualidade de forma sistemática em todas as interações com clientes.

Como funciona

Cada critério de avaliação analisa a transcrição da conversa usando um prompt personalizado e retorna:

  • Resultado: success, failure ou unknown
  • Justificativa: Explicação detalhada de por que o resultado foi escolhido

Tipos de critérios de avaliação

Os critérios de prompt de meta enviam a transcrição da conversa junto com um prompt personalizado para um LLM verificar se uma meta específica foi atingida. Esse é o tipo de avaliação mais flexível e pode ser usado para lógicas comerciais complexas.

Exemplos:

  • Avaliação da satisfação do cliente
  • Verificação da resolução de problemas
  • Verificação de conformidade
  • Validação de regras comerciais personalizadas

Configuração

1

Acessar as configurações do agente

Acesse o painel do seu agente e selecione a aba Análise para configurar os critérios de avaliação.

Configurações de análise

2

Adicionar critérios de avaliação

Clique em Adicionar critérios para criar um novo critério de avaliação.

Defina seu critério com:

  • Identificador: Um nome exclusivo para o critério (por exemplo, user_was_not_upset)
  • Descrição: Prompt detalhado que descreve o que deve ser avaliado

Configurando critérios de avaliação

Os critérios de avaliação são limitados a 30 por agente.

3

Ver resultados

Depois que as conversas terminam, os resultados da avaliação aparecem no painel do histórico de conversas. Cada conversa mostra o resultado e a justificativa da avaliação para todos os critérios configurados.

Resultados da avaliação no histórico de conversas

Práticas recomendadas

  • Seja específico sobre o que constitui sucesso e falha
  • Inclua casos extremos e exemplos no seu prompt
  • Use critérios claros e mensuráveis quando possível
  • Teste seus prompts com vários cenários de conversa
  • Satisfação do cliente: “Marque como bem-sucedido se o cliente expressar satisfação ou se o problema dele tiver sido resolvido” - Conclusão da meta: “Marque como bem-sucedido se o cliente tiver concluído a ação solicitada (agendamento, compra etc.)” - Conformidade: “Marque como bem-sucedido se o agente tiver seguido todos os procedimentos de conformidade exigidos” - Resolução de problemas: “Marque como bem-sucedido se o problema técnico do cliente tiver sido resolvido durante a ligação”

O resultado unknown é retornado quando o LLM não consegue determinar o sucesso ou a falha a partir da transcrição. Isso costuma acontecer em casos de:

  • Conversas incompletas
  • Respostas ambíguas dos clientes
  • Informações ausentes na transcrição

Monitore os resultados unknown para identificar áreas em que os prompts dos seus critérios podem precisar ser refinados.

Casos de uso

Qualidade do suporte ao cliente

Meça taxas de resolução de problemas, satisfação do cliente e métricas de qualidade do suporte para melhorar a prestação de serviços.

Desempenho de vendas

Acompanhe o alcance de metas, o tratamento de objeções e as taxas de conversão nas conversas de vendas.

Monitoramento de conformidade

Garanta que os agentes sigam os procedimentos exigidos e registrem as confirmações necessárias de consentimento ou divulgação.

Treinamento e desenvolvimento

Identifique oportunidades de treinamento e meça a melhoria no desempenho dos agentes ao longo do tempo.

Solução de problemas

  • Revise seu prompt quanto à clareza e especificidade
  • Teste com conversas de exemplo para validar a lógica
  • Considere casos extremos nos critérios de avaliação
  • Verifique se a transcrição contém informações suficientes para a avaliação
  • Garanta que seus prompts sejam específicos sobre quais informações procurar - Considere se as conversas contêm contexto suficiente para avaliação - Revise a qualidade e a integridade da transcrição - Ajuste os critérios para lidar com casos extremos comuns
  • Cada critério de avaliação adiciona tempo de processamento à análise da conversa
  • Prompts complexos podem levar mais tempo para ser avaliados
  • Considere o equilíbrio entre análise abrangente e tempo de resposta
  • Monitore seu uso para otimizar conforme suas necessidades específicas

Os resultados da avaliação de sucesso estão disponíveis por meio de Webhooks pós-chamada para integração com sistemas externos e plataformas de análise.