Esperimenti
Esegui test A/B controllati sul traffico di produzione per ottimizzare le prestazioni dell’agente in base ai dati, non all’intuizione
Gli esperimenti ti consentono di eseguire test A/B controllati su qualsiasi aspetto della configurazione dell’agente — struttura del prompt, logica del workflow, voce, personalità, strumenti, knowledge base — indirizzando una parte definita del traffico a una variante, misurando l’impatto sui risultati chiave e portando in produzione le versioni vincenti.
Gli esperimenti si basano sul versionamento degli agenti. Devi abilitare il versionamento sull’agente prima di poter eseguire esperimenti.
Perché fare esperimenti
Senza una sperimentazione strutturata, l’ottimizzazione si basa sull’intuizione. Una modifica al prompt “sembra” migliore. Un intervento sul workflow “dovrebbe” migliorare il contenimento. Un nuovo percorso di escalation “pare” più efficiente.
Gli esperimenti sostituiscono le supposizioni con dati concreti. Testi le modifiche sul traffico reale, misuri risultati effettivi e porti avanti ciò che funziona.
Come funziona
Gli esperimenti seguono un workflow in quattro passaggi:
Crea una variante
Parti dalla configurazione corrente dell’agente e crea un nuovo branch. Puoi modificare qualsiasi elemento — prompt di sistema, workflow, voce, strumenti, knowledge base, guardrail o criteri di valutazione. Ogni modifica viene tracciata come configurazione versionata.
Vai alla scheda Branches nelle impostazioni dell’agente e fai clic su Create branch.
Indirizza il traffico
Definisci quale percentuale delle conversazioni live deve essere indirizzata alla variante. Inizia con una percentuale bassa (5–10%) per limitare il rischio, poi aumentala man mano che cresce la fiducia nei risultati.
Fai clic su Edit traffic split e imposta le percentuali per ogni branch. Il totale delle percentuali deve essere esattamente 100%.
Misura l'impatto
Confronta le prestazioni della variante con la configurazione di riferimento usando la dashboard di analisi. Fai clic su See analytics nel pannello dei branch per passare direttamente a una visualizzazione filtrata per branch.
I team possono misurare risultati quali:
- CSAT
- Tasso di contenimento
- Conversione
- Tempo medio di gestione
- Latenza mediana di risposta dell’agente
- Costo per risoluzione gestita dall’agente
Promuovi la variante vincente
Quando una variante dimostra un miglioramento misurabile, puoi aumentarne la quota di traffico oppure unirla al branch principale per renderla la nuova configurazione predefinita. La cronologia completa delle versioni viene conservata, così puoi ripristinare una versione precedente se necessario.
Instradamento del traffico
Il traffico viene suddiviso tra i branch in base a percentuali. L’instradamento è deterministico in base all’ID della conversazione, quindi lo stesso utente raggiunge sempre lo stesso branch nelle diverse sessioni.
Per impostazione predefinita, il traffico viene distribuito casualmente tra gli utenti. Se usi l’API per avviare conversazioni, puoi indirizzare coorti specifiche a branch specifici controllando quali conversazioni vengono avviate con ciascuna configurazione di branch.
La somma di tutte le percentuali di traffico deve essere esattamente 100%. In caso contrario, il deployment non riuscirà.
Casi d’uso
Gli esperimenti supportano l’ottimizzazione continua dei workflow rivolti ai clienti e di quelli operativi.
Ogni esperimento è legato a una versione specifica dell’agente, quindi ogni variazione delle prestazioni è attribuibile a una modifica di configurazione definita.
Cosa puoi testare
Puoi variare tra i branch qualsiasi aspetto della configurazione dell’agente:
Best practice
Inizia con un'ipotesi
Definisci cosa prevedi di migliorare e come lo misurerai prima di creare una variante. Ad esempio: “Modificare il prompt di escalation affinché includa un riepilogo del problema migliorerà del 10% il nostro criterio di valutazione del tasso di risoluzione.”
Modifica un elemento alla volta
Isolare una singola variabile rende chiaro cosa ha causato ogni differenza di prestazioni. Se modifichi contemporaneamente prompt, voce e workflow, non saprai quale modifica ha prodotto il risultato.
Configura prima i criteri di valutazione
Configura i criteri di valutazione del successo prima di eseguire gli esperimenti. Ti forniranno le metriche strutturate necessarie per confrontare le varianti in modo oggettivo.
Inizia con percentuali di traffico basse
Inizia indirizzando alla variante il 5–10% del traffico. Così limiti l’esposizione nel caso qualcosa vada storto, continuando comunque a generare dati significativi.
Concedi abbastanza tempo agli esperimenti
Lascia accumulare un numero sufficiente di conversazioni prima di trarre conclusioni. Campioni ridotti portano a risultati inaffidabili. Monitora la dashboard di analisi e attendi che le tendenze si stabilizzino.
Mantieni gli esperimenti di breve durata
Unisci o elimina gli esperimenti tempestivamente. I branch attivi a lungo diventano più difficili da unire e possono discostarsi dalla configurazione principale.