Análises
Análises
Acompanhe o desempenho dos agentes, compare experimentos e identifique oportunidades de otimização em todo o seu espaço de trabalho
Visão geral
O dashboard de análises fornece métricas granulares e em tempo real para seus agentes conversacionais. Você pode detalhar o desempenho em várias dimensões — por agente, ramificação, período, idioma, tipo de chamada, modelo e muito mais — para entender exatamente como seus agentes estão se saindo em produção.
Os dados de análise são processados por um banco de dados colunar de alto desempenho, permitindo consultas rápidas em grandes volumes de dados de conversas, com filtragem e agrupamento flexíveis.
Para temas no nível da conversa, use o Spotlight para analisar insights em tempo real, análise de sentimento, descoberta de tópicos e as conversas por trás de cada tópico.
Acessando as análises
Navegue até a aba Analytics no dashboard dos seus agentes. Você pode visualizar métricas de todo o seu espaço de trabalho ou filtrar por um agente específico.
Ao executar experimentos, você pode acessar diretamente as análises filtradas por ramificação na página de configuração do agente usando o botão View Analytics. Isso aplica previamente os filtros de agente e ramificação para que você possa comparar o desempenho das variantes imediatamente.
Intervalo de tempo e granularidade
Selecione o intervalo de tempo da sua análise usando o seletor de datas na parte superior do dashboard. Você pode escolher entre intervalos predefinidos ou definir uma janela personalizada.
O dashboard ajusta automaticamente a granularidade dos gráficos de série temporal com base no intervalo selecionado — agrupamentos por hora para intervalos curtos e por dia ou semana para intervalos mais longos.
Métricas disponíveis
Conversas
- Número de chamadas — total de conversas no período selecionado
- Duração total — tempo total das conversas
- Duração média — duração média das conversas
- Custo total — gasto total em todas as conversas
- Custo médio — custo médio por conversa
Desempenho
- Latência de resposta do agente — tempo de resposta do agente (mediana e percentis)
- Taxa de erro — percentual de conversas com erros
- Detalhamento de erros — erros categorizados por tipo (falhas de ferramentas, erros de LLM, problemas de conexão)
Avaliação de sucesso
Se você tiver critérios de avaliação configurados, o dashboard mostrará as taxas de sucesso, falha e desconhecida para cada critério. Essa é a principal forma de medir resultados de negócio em experimentos.
Coleta de dados
Se você tiver a coleta de dados configurada, os valores coletados estarão disponíveis como dimensões filtráveis no dashboard.
Detalhamento por idioma
Veja a distribuição de conversas entre os idiomas. Isso é útil para entender a adoção multilíngue e comparar o desempenho dos agentes em diferentes idiomas.
Chamadas ativas
O dashboard exibe em tempo real o número atual de chamadas ativas. Isso reflete as sessões em andamento no seu espaço de trabalho e também está disponível pela API.
Filtragem
Restrinja sua visualização de análises aplicando filtros em qualquer combinação de dimensões:
Agrupamento
Agrupe métricas por qualquer uma das dimensões filtráveis para detalhar os números agregados.
Por exemplo:
- Agrupe por ramificação para comparar variantes de experimentos lado a lado
- Agrupe por idioma para ver como os agentes se saem em diferentes idiomas
- Agrupe por modelo de LLM para comparar o desempenho e o custo dos modelos
- Agrupe por tipo de chamada para entender as diferenças entre chamadas recebidas e efetuadas
Várias dimensões de agrupamento podem ser combinadas para uma análise mais aprofundada.
Análises de workflow
Para agentes com um workflow, a aba Workflow no dashboard de análises sobrepõe métricas de uso diretamente no gráfico do workflow. Selecione um agente que usa um workflow para ativar a visualização do gráfico — assim, você poderá visualizar o fluxo das conversas e o volume de tráfego diretamente na tela do workflow, com entradas e saídas detalhadas para cada nó.
Métricas do nó
Clique em qualquer nó no gráfico do workflow para abrir o inspetor e ver:
- Entradas — quantas conversas entraram no nó durante o intervalo de tempo selecionado
- Tempo médio gasto — por quanto tempo o nó ficou ativo, em média, nessas entradas
- Encerramentos — quantas conversas terminaram enquanto o nó estava ativo
- Fluxo de entrada e saída — a distribuição das conversas que entram por cada aresta anterior e saem por cada aresta seguinte
Acessando as conversas
No inspetor de nós, clique em See conversations para ir à página de histórico de conversas filtrada por esse nó. Isso aplica o filtro Node entered — um filtro de histórico limitado a um agente específico que exibe todas as conversas cuja transcrição entrou no nó de workflow selecionado pelo menos uma vez.
O filtro Node entered também está disponível diretamente na página de histórico de conversas.
Usando análises com experimentos
As análises são a principal ferramenta para medir os resultados de experimentos. O workflow recomendado é:
Agrupe por ramificação
Detalhe todas as métricas por ramificação para ver o desempenho de cada variante.
Você pode acessar diretamente essa visualização na página de configuração do agente clicando no botão View Analytics ao lado das configurações de implantação de tráfego. Isso aplica previamente os filtros corretos de agente e ramificação.