Análises
Acompanhe o desempenho dos agentes, compare experimentos e identifique oportunidades de otimização em todo o seu workspace
Visão geral
O painel de análises fornece métricas granulares e em tempo real para seus agentes conversacionais. Você pode detalhar o desempenho em várias dimensões — por agente, branch, período, idioma, tipo de chamada, modelo e muito mais — para entender exatamente como seus agentes estão se saindo em produção.
Os dados de análise são alimentados por um banco de dados colunar de alto desempenho, permitindo consultas rápidas em grandes volumes de dados de conversas, com filtragem e agrupamento flexíveis.
Para temas no nível da conversa, use o Spotlight para analisar insights em tempo real, análise de sentimento, descoberta de tópicos e as conversas por trás de cada tópico.
Acessando as análises
Acesse a aba Análises no painel dos seus agentes. Você pode ver métricas de todo o seu workspace ou filtrar por um agente específico.
Ao executar experimentos, você pode ir diretamente para as análises filtradas por branch a partir da página de configuração do agente usando o botão Ver análises. Isso aplica previamente os filtros de agente e branch para que você possa comparar imediatamente o desempenho das variantes.
Intervalo de tempo e granularidade
Selecione o intervalo de tempo da sua análise usando o seletor de datas na parte superior do painel. Você pode escolher entre intervalos predefinidos ou definir uma janela personalizada.
O painel ajusta automaticamente a granularidade dos gráficos de séries temporais com base no intervalo selecionado — blocos por hora para intervalos curtos e por dia ou semana para intervalos mais longos.
Métricas disponíveis
Conversas
- Quantidade de chamadas — número total de conversas no período selecionado
- Duração total — tempo total das conversas
- Duração média — duração média das conversas
- Custo total — gasto total em todas as conversas
- Custo médio — custo médio por conversa
Desempenho
- Latência de resposta do agente — tempo para o agente responder (mediana e percentis)
- Taxa de erros — porcentagem de conversas com erros
- Detalhamento de erros — erros categorizados por tipo (falhas de ferramentas, erros de LLM, problemas de conexão)
Avaliação de sucesso
Se você tiver critérios de avaliação configurados, o painel mostrará as taxas de sucesso, falha e desconhecido para cada critério. Essa é a principal forma de medir resultados de negócio nos experimentos.
Coleta de dados
Se você tiver a coleta de dados configurada, os valores coletados estarão disponíveis como dimensões filtráveis no painel.
Detalhamento por idioma
Veja a distribuição das conversas entre os idiomas. Isso é útil para entender a adoção multilíngue e comparar o desempenho dos agentes em diferentes idiomas.
Chamadas ativas
O painel exibe em tempo real o número atual de chamadas ativas. Isso reflete as sessões em andamento em todo o seu workspace e também está disponível pela API.
Filtragem
Refine sua visualização de análises aplicando filtros a qualquer combinação de dimensões:
Agrupamento
Agrupe métricas por qualquer uma das dimensões filtráveis para detalhar os números agregados.
Por exemplo:
- Agrupe por branch para comparar variantes de experimentos lado a lado
- Agrupe por idioma para ver como os agentes se saem entre os idiomas
- Agrupe por modelo de LLM para comparar o desempenho e o custo dos modelos
- Agrupe por tipo de chamada para entender as diferenças entre chamadas recebidas e efetuadas
Várias dimensões de agrupamento podem ser combinadas para uma análise mais aprofundada.
Análises de workflow
Para agentes com um workflow, a aba Workflow no painel de análises sobrepõe métricas de uso diretamente no gráfico do workflow. Selecione um agente que use um workflow para ativar a visualização do gráfico — então você poderá visualizar o fluxo de conversas e o volume de tráfego diretamente na tela do workflow, com entradas e saídas detalhadas para cada nó.
Métricas de nós
Clique em qualquer nó no gráfico do workflow para abrir o inspetor e ver:
- Entradas — quantas conversas entraram no nó no intervalo de tempo selecionado
- Tempo médio gasto — por quanto tempo o nó ficou ativo, em média, nessas entradas
- Encerramentos — quantas conversas terminaram enquanto o nó estava ativo
- Fluxo de entrada e saída — a distribuição das conversas que entram por cada borda anterior e saem por cada borda seguinte
Analisando conversas em detalhe
No inspetor de nós, clique em Ver conversas para ir para a página de histórico de conversas filtrada por esse nó. Isso aplica o filtro Nó acessado — um filtro de histórico limitado a um agente específico que mostra todas as conversas cuja transcrição acessou o nó de workflow selecionado pelo menos uma vez.
O filtro Nó acessado também está disponível diretamente na página de histórico de conversas.
Usando análises com experimentos
As análises são a principal ferramenta para medir os resultados de experimentos. O workflow recomendado é:
Você pode ir diretamente para essa visualização na página de configuração do agente clicando no botão Ver análises ao lado das configurações de implantação de tráfego. Isso aplica previamente os filtros corretos de agente e branch.