Analisi
Monitora le prestazioni degli agenti, confronta gli esperimenti e individua opportunità di ottimizzazione nel tuo workspace
Panoramica
La dashboard di analisi fornisce metriche granulari in tempo reale per i tuoi agenti conversazionali. Puoi analizzare le prestazioni in base a più dimensioni — agente, branch, periodo, lingua, tipo di chiamata, modello e altro — per capire esattamente come si comportano i tuoi agenti in produzione.
I dati di analisi sono supportati da un database colonnare ad alte prestazioni, che consente query rapide su grandi volumi di dati delle conversazioni con filtri e raggruppamenti flessibili.
Per esplorare i temi a livello di conversazione, usa Spotlight per esaminare insight in tempo reale, analisi del sentiment, scoperta di argomenti e le conversazioni associate a ciascun argomento.
Accesso alle analisi
Vai alla scheda Analytics nella dashboard dei tuoi agenti. Puoi visualizzare le metriche per l’intero workspace o filtrare per un agente specifico.
Quando esegui degli esperimenti, puoi accedere direttamente alle analisi filtrate per branch dalla pagina di configurazione dell’agente tramite il pulsante View Analytics. I filtri per agente e branch vengono applicati in anticipo, così puoi confrontare subito le prestazioni delle varianti.
Intervallo temporale e granularità
Seleziona l’intervallo temporale per l’analisi con il selettore della data nella parte superiore della dashboard. Puoi scegliere tra intervalli predefiniti o definire una finestra personalizzata.
La dashboard adatta automaticamente la granularità dei grafici delle serie temporali in base all’intervallo selezionato: intervalli orari per periodi brevi, giornalieri o settimanali per periodi più lunghi.
Metriche disponibili
Conversazioni
- Numero di chiamate — numero totale di conversazioni nel periodo selezionato
- Durata totale — durata complessiva delle conversazioni
- Durata media — durata media delle conversazioni
- Costo totale — spesa totale per tutte le conversazioni
- Costo medio — costo medio per conversazione
Prestazioni
- Latenza di risposta dell’agente — tempo impiegato dall’agente per rispondere (mediana e percentili)
- Tasso di errore — percentuale di conversazioni con errori
- Dettaglio degli errori — errori categorizzati per tipo (errori degli strumenti, errori LLM, problemi di connessione)
Valutazione del successo
Se hai configurato dei criteri di valutazione, la dashboard mostra i tassi di successo, insuccesso e risultati sconosciuti per ciascun criterio. È il modo principale per misurare i risultati aziendali negli esperimenti.
Raccolta dati
Se hai configurato la raccolta dati, i valori raccolti sono disponibili come dimensioni filtrabili nella dashboard.
Suddivisione per lingua
Visualizza la distribuzione delle conversazioni tra le diverse lingue. È utile per comprendere l’adozione multilingue e confrontare le prestazioni degli agenti nelle varie lingue.
Chiamate attive
La dashboard mostra in tempo reale il numero attuale di chiamate attive. Riflette le sessioni in corso nel tuo workspace ed è disponibile anche tramite API.
Filtri
Restringi la visualizzazione delle analisi applicando filtri a qualsiasi combinazione di dimensioni:
Raggruppamento
Raggruppa le metriche in base a qualsiasi dimensione filtrabile per analizzare i valori aggregati.
Ad esempio:
- Raggruppa per branch per confrontare le varianti dell’esperimento affiancate
- Raggruppa per lingua per vedere come si comportano gli agenti nelle varie lingue
- Raggruppa per modello LLM per confrontare prestazioni e costi dei modelli
- Raggruppa per tipo di chiamata per comprendere le differenze tra chiamate in entrata e in uscita
Puoi combinare più dimensioni di raggruppamento per analisi più approfondite.
Analisi dei workflow
Per gli agenti con un workflow, la scheda Workflow nella dashboard di analisi sovrappone le metriche di utilizzo direttamente al grafico del workflow. Seleziona un agente che utilizza un workflow per attivare la visualizzazione del grafico: potrai quindi visualizzare il flusso delle conversazioni e il volume di traffico direttamente nell’area di lavoro del workflow, con dettagli su flussi in entrata e in uscita per ogni nodo.
Metriche dei nodi
Fai clic su un nodo del grafico del workflow per aprire l’inspector e visualizzare:
- Ingressi — quante conversazioni sono entrate nel nodo nell’intervallo temporale selezionato
- Tempo medio trascorso — per quanto tempo il nodo è rimasto attivo in media per tali ingressi
- Terminazioni — quante conversazioni sono terminate mentre il nodo era attivo
- Flusso in entrata e in uscita — la distribuzione delle conversazioni che entrano da ciascun collegamento a monte ed escono da ciascun collegamento a valle
Analizzare le conversazioni nel dettaglio
Dall’inspector del nodo, fai clic su See conversations per accedere alla pagina della cronologia delle conversazioni filtrata per quel nodo. Viene applicato il filtro Node entered, un filtro della cronologia limitato a un agente specifico che mostra ogni conversazione la cui trascrizione è entrata almeno una volta nel nodo del workflow selezionato.
Il filtro Node entered è disponibile anche direttamente nella pagina della cronologia delle conversazioni.
Usare le analisi con gli esperimenti
Analytics è lo strumento principale per misurare i risultati degli esperimenti. Workflow consigliato:
Raggruppa per branch
Suddividi tutte le metriche per branch per visualizzare le prestazioni a livello di variante.
Puoi accedere direttamente a questa visualizzazione dalla pagina di configurazione dell’agente facendo clic sul pulsante View Analytics accanto alle impostazioni di distribuzione del traffico. In questo modo vengono applicati in anticipo i filtri corretti per agente e branch.