Analisi
Monitora le prestazioni degli agenti, confronta gli esperimenti e individua opportunità di ottimizzazione nel tuo workspace
Panoramica
La dashboard di analisi fornisce metriche granulari in tempo reale per i tuoi agenti conversazionali. Puoi suddividere le prestazioni in base a più dimensioni — agente, branch, periodo, lingua, tipo di chiamata, modello e altro ancora — per capire esattamente come si comportano i tuoi agenti in produzione.
I dati di analisi sono basati su un database colonnare ad alte prestazioni, che consente query rapide su grandi volumi di dati delle conversazioni con filtri e raggruppamenti flessibili.
Per analizzare i temi a livello di conversazione, usa Spotlight per esaminare insight in tempo reale, analisi del sentiment, scoperta degli argomenti e le conversazioni associate a ciascun argomento.
Accesso alle analisi
Vai alla scheda Analisi nella dashboard degli agenti. Puoi visualizzare le metriche dell’intero workspace oppure filtrarle per un agente specifico.
Quando esegui degli esperimenti, puoi passare direttamente alle analisi filtrate per branch dalla pagina di configurazione dell’agente tramite il pulsante Visualizza analisi. In questo modo vengono applicati in anticipo i filtri dell’agente e del branch, così puoi confrontare subito le prestazioni delle varianti.
Intervallo temporale e granularità
Seleziona l’intervallo temporale per l’analisi con il selettore di date nella parte superiore della dashboard. Puoi scegliere tra intervalli predefiniti o definire una finestra personalizzata.
La dashboard adatta automaticamente la granularità dei grafici delle serie temporali in base all’intervallo selezionato: intervalli orari per periodi brevi, giornalieri o settimanali per periodi più lunghi.
Metriche disponibili
Conversazioni
- Numero di chiamate — numero totale di conversazioni nel periodo selezionato
- Durata totale — durata complessiva delle conversazioni
- Durata media — durata media delle conversazioni
- Costo totale — spesa totale per tutte le conversazioni
- Costo medio — costo medio per conversazione
Prestazioni
- Latenza di risposta dell’agente — tempo impiegato dall’agente per rispondere (mediana e percentili)
- Tasso di errore — percentuale di conversazioni con errori
- Dettaglio degli errori — errori categorizzati per tipo (errori degli strumenti, errori LLM, problemi di connessione)
Valutazione del successo
Se hai configurato dei criteri di valutazione, la dashboard mostra i tassi di successo, fallimento e risultato sconosciuto per ogni criterio. È il modo principale per misurare i risultati aziendali tra gli esperimenti.
Raccolta dati
Se hai configurato la raccolta dati, i valori raccolti sono disponibili come dimensioni filtrabili nella dashboard.
Suddivisione per lingua
Visualizza la distribuzione delle conversazioni tra le lingue. È utile per comprendere l’adozione multilingue e confrontare le prestazioni degli agenti nelle diverse lingue.
Chiamate attive
La dashboard mostra in tempo reale il numero attuale di chiamate attive. Rappresenta le sessioni in corso nel tuo workspace ed è disponibile anche tramite API.
Filtri
Limita la visualizzazione delle analisi applicando filtri a qualsiasi combinazione di dimensioni:
Raggruppamento
Raggruppa le metriche in base a qualsiasi dimensione filtrabile per suddividere i valori aggregati.
Ad esempio:
- Raggruppa per branch per confrontare le varianti dell’esperimento affiancate
- Raggruppa per lingua per vedere come si comportano gli agenti nelle varie lingue
- Raggruppa per modello LLM per confrontare prestazioni e costi dei modelli
- Raggruppa per tipo di chiamata per comprendere le differenze tra chiamate in entrata e in uscita
Puoi combinare più dimensioni di raggruppamento per un’analisi più approfondita.
Analisi dei workflow
Per gli agenti con un workflow, la scheda Workflow nella dashboard di analisi sovrappone le metriche di utilizzo direttamente al grafico del workflow. Seleziona un agente che usa un workflow per attivare la visualizzazione del grafico: potrai quindi visualizzare il flusso delle conversazioni e il volume di traffico direttamente nel canvas del workflow, con flussi in entrata e in uscita dettagliati per ogni nodo.
Metriche dei nodi
Fai clic su un nodo del grafico del workflow per aprire l’inspector e visualizzare:
- Accessi — quante conversazioni sono entrate nel nodo nell’intervallo temporale selezionato
- Tempo medio trascorso — per quanto tempo, in media, il nodo è rimasto attivo per tali accessi
- Terminazioni — quante conversazioni sono terminate mentre il nodo era attivo
- Flusso in entrata e in uscita — la distribuzione delle conversazioni che entrano da ogni collegamento a monte ed escono da ogni collegamento a valle
Analizzare le conversazioni
Dall’inspector del nodo, fai clic su Vedi conversazioni per passare alla pagina della cronologia delle conversazioni filtrata per quel nodo. Viene applicato il filtro Nodo visitato — un filtro della cronologia limitato a un agente specifico che mostra tutte le conversazioni la cui trascrizione è entrata almeno una volta nel nodo del workflow selezionato.
Il filtro Nodo visitato è disponibile anche direttamente nella pagina della cronologia delle conversazioni.
Usare le analisi con gli esperimenti
Le analisi sono lo strumento principale per misurare i risultati degli esperimenti. Workflow consigliato:
Raggruppa per branch
Suddividi tutte le metriche per branch per vedere le prestazioni a livello di variante.
Puoi passare direttamente a questa visualizzazione dalla pagina di configurazione dell’agente facendo clic sul pulsante Visualizza analisi accanto alle impostazioni di distribuzione del traffico. In questo modo vengono applicati in anticipo i filtri corretti dell’agente e del branch.