Framework di valutazione degli agenti vocali: spiegati i 6 pilastri

Gli agenti vocali devono orchestrare una serie di strumenti quasi simultanei. Si tratta di un delicato equilibrio tra la registrazione dei commenti di un cliente con la Speech to Text in tempo reale (STT), l'elaborazione del contesto e la produzione di una risposta con un large language model (LLM), per poi generare un file audio con un software di Text to Speech (TTS).

Con così tanti elementi in gioco, come puoi valutare con precisione le prestazioni di un agente vocale?

In questo articolo proponiamo un framework di valutazione degli agenti vocali basato su sei pilastri, che descrive esattamente cosa misurare per valutarne il successo. Vedremo anche perché i diversi settori attribuiscono un peso diverso a questi pilastri e quali sono gli errori più comuni da evitare durante la valutazione.

In sintesi

• I sei principali pilastri per valutare gli agenti vocali sono: qualità della voce TTS, qualità della conversazione, utilizzo degli strumenti e completamento delle attività, intelligenza, conformità normativa e sicurezza, affidabilità.
• Gli obiettivi di produzione più importanti sono un MOS di 4,3, un TSR superiore all'85% e un tempo al primo audio inferiore a 500 ms.
• I diversi settori attribuiscono un peso distinto a ciascun pilastro e alcune implementazioni ne privilegiano uno rispetto agli altri.
• Tra gli errori di test più comuni ci sono valutare esclusivamente audio pulito e ignorare i picchi di latenza P99.
• ElevenLabs primeggia nelle metriche più importanti: Scribe v2 raggiunge il WER più basso del settore, pari al 2,2% (Artificial Analysis, giugno 2026); Flash v2.5 e Turbo v2.5 sono tra i modelli più veloci (Artificial Analysis, giugno 2026); ElevenAgents offre una latenza di inferenza del modello di circa 75 ms.

Cos'è un framework di valutazione degli agenti vocali?

Un framework di valutazione degli agenti vocali IA è un sistema strutturato che ti consente di testarne le prestazioni su più dimensioni. Un framework completo include metriche per valutare tutto, dalla fedeltà audio al flusso della conversazione fino alla conformità normativa.

A differenza di un chatbot testuale, un agente vocale instrada ogni interazione attraverso almeno tre tecnologie sovrapposte: il riconoscimento vocale automatico (ASR), che converte le parole dell'utente in testo; un LLM che compone una risposta; e un sistema TTS che riconverte la risposta in audio. Se uno solo di questi sistemi non funziona, l'intera esperienza ne risente.

Questa complessità è proprio il motivo per cui le aziende devono valutare gli agenti vocali prima di scegliere un fornitore e procedere all'implementazione. Latenza aggiuntiva o risposte imprecise possono avere conseguenze concrete, come la perdita di clienti o, nel peggiore dei casi, sanzioni normative e danni alla reputazione.

Un framework per valutare gli agenti vocali usa benchmark e dati misurabili per stabilire se un agente è adatto o meno a determinati casi d'uso. Dal punto di vista aziendale, poter valutare diversi modelli vocali ti consente di scegliere quello più adatto ai tuoi clienti.

I sei pilastri da valutare per gli agenti vocali

Sebbene creare e implementare un agente IA non sia mai stato così semplice, i processi che avvengono dietro le quinte sono piuttosto complessi. Diversi componenti agiscono insieme per ascoltare un utente, capirne le esigenze, fornire tali informazioni a un LLM e produrre poi una risposta audio: molte azioni avvengono quasi contemporaneamente.

Per collaborare con il miglior agente vocale possibile, le aziende hanno bisogno di un framework rigoroso con cui confrontarsi.

Se ti interessano soprattutto i risultati dei test, Artificial Analysis offre diversi confronti tra agenti basati su componenti differenti. Qui sotto puoi vedere i risultati del confronto diretto sulla velocità tra modelli: ElevenLabs Turbo v2.5 e Flash v2.5 guidano la classifica con un margine significativo nel numero di caratteri elaborati al secondo.

Per sviluppatori o aziende che vogliono condurre esperimenti in autonomia, ecco i sei pilastri di un framework di valutazione degli agenti IA da usare:

• Qualità della voce TTS: quanto il parlato sintetizzato risulta naturale, chiaro ed espressivo per gli utenti finali. I migliori modelli del settore, come Eleven v3, offrono una resa espressiva e simile a quella umana in oltre 70 lingue.
• Qualità della conversazione: un modello comprende il parlato umano, ne elabora il significato e risponde tempestivamente nel contesto attraverso più turni?
• Utilizzo degli strumenti: la misura in cui un agente IA completa attività usando le risorse disponibili senza richiedere l'intervento umano.
• Intelligenza: quanto un modello ragiona bene, gestisce input nuovi ed evita di produrre risposte inesatte o allucinate.
• Conformità normativa e sicurezza: oltre a tutte le funzionalità, gli agenti vocali IA devono rispettare tutti i requisiti normativi e di conformità, incluse le protezioni attive.
• Affidabilità: componenti come uptime totale e prestazioni costanti sotto carico, per stabilire se un agente di IA conversazionale possa scalare in base alla domanda.

Benché ciascuno di questi pilastri sia indipendente, si collegano tra loro per offrire all'utente un'esperienza finale di alta qualità. Per esempio, se un modello migliorasse la qualità della voce ma mantenesse una latenza elevata, il cliente sperimenterebbe attese scomode prima di ricevere una risposta vocale.

Approfondiamo ciascuno di questi pilastri per la valutazione dell'IA vocale.

Qualità della voce TTS

Partiamo dalla qualità della voce, poiché è probabilmente la prima cosa che una persona nota quando interagisce con un agente conversazionale IA. Se suona robotica o innaturale, l'esperienza soggettiva con l'agente sarà decisamente peggiore.

Una delle metriche di valutazione originarie, definita dall'International Telecommunication Union Telecommunication Standard Sector (ITU-T), è il Mean Opinion Score (MOS). Il MOS usa una scala da 1 a 5, dove 1 è inutilizzabile e 5 è eccellente. Essendo una misurazione soggettiva, coinvolge ascoltatori umani e raccoglie il loro feedback dopo una chiamata.

Un valore inferiore a MOS 3,5 su questa scala è piuttosto deludente, soprattutto secondo gli standard attuali, e probabilmente inciderà sulla soddisfazione dei clienti.

Sebbene il MOS sia una metrica incentrata sulle persone, il suo valore dipende da diversi requisiti tecnici:

• Coerenza del pitch e jitter: pitch e jitter sono due elementi linguistici che le persone percepiscono naturalmente durante l'ascolto. Il “pitch” indica la variazione dell'intonazione nel parlato, ad esempio quando alzi spontaneamente la voce per fare una domanda. Il jitter si verifica quando la comprensione del pitch da parte di un modello vocale varia, impedendogli di mantenere una prosodia coerente nell'intera frase. Il valore di riferimento del settore per il jitter è 30 ms.
• Espressività emotiva: una voce chiara e precisa risulta comunque sbagliata se il tono non corrisponde al registro emotivo previsto dalla frase. Senza segnali tonali accurati, gli ascoltatori umani stabiliranno meno sintonia con gli agenti conversazionali IA e li valuteranno peggio. ElevenAgents offre un'espressività quasi umana per associare a ogni risposta una chiara intenzione emotiva.
• Rumore di fondo: il rumore di fondo negli agenti vocali presenta due dimensioni distinte da valutare. In output, alle risposte viene aggiunto in modo discreto un rumore ambientale per rendere gli agenti più naturali. In input, il filtro del rumore di fondo nel livello STT è un'opzione che migliora l'accuratezza. Quando valuti un agente, testa entrambi gli aspetti: verifica se il rumore ambientale suona naturale e misura l'accuratezza STT con il filtro del rumore attivato e disattivato.

Nel calcolare il MOS, punta a un valore tra 4,3 e 4,5, che dimostra punteggi elevati in tutte queste categorie percettive. Per prevedere il MOS su larga scala senza richiedere panel umani, puoi usare strumenti come UTMOS e NISQA.

Qualità della conversazione

La qualità della conversazione è un pilastro composito, a metà tra qualità della voce e completamento delle attività. Misura quanto efficacemente un agente vocale comprende le esigenze dell'utente, lo interrompe nel contesto e porta il dialogo a più turni fino al completamento.

La metrica principale è l'accuratezza della classificazione degli intenti, che in genere va dall'85% al 92%, mentre i migliori risultati superano il 96%. L'85% può sembrare un valore alto, ma significa comunque che il 15% di tutto il traffico in entrata viene classificato erroneamente e indirizzato alle risorse sbagliate.

Gli elementi tecnici che contribuiscono a un'elevata accuratezza nella classificazione degli intenti sono:

• Gestione dei turni: determina quanto bene un agente vocale gestisce il flusso naturale della conversazione. Valuta se sa quando ascoltare, rispondere o attendere ulteriori input. Include anche la gestione delle interruzioni, in cui un modello cancella una risposta in corso e ne genera una nuova in base al nuovo input. ElevenLabs usa un websocket multi-contesto per gestire senza interruzioni queste interruzioni naturali.
• Latenza: Latenza descrive il ritardo end-to-end tra il momento in cui un utente termina la frase e quello in cui l'agente avvia la risposta audio. Gli agenti vocali pronti per la produzione dovrebbero puntare a un tempo al primo audio inferiore a 500 ms; inferiore a 300 ms è ancora meglio. I modelli Flash di ElevenLabs offrono un tempo di inferenza del modello leader nel settore, di circa 75 ms, preparandoti al meglio per questa categoria.
• Tasso di fallback: misura la frequenza con cui un agente IA non riesce a comprendere un utente e chiede un chiarimento o di ripetere. Dipende in gran parte dall'accuratezza dell'STT: se il livello di riconoscimento vocale interpreta male o rappresenta in modo errato ciò che ha detto un cliente, l'LLM riceve un input corrotto. Il tasso di fallback è un calcolo diretto che usa la formula: Tasso di fallback (%) = (Numero di fallback / Numero totale di interazioni) * 100.

ElevenLabs Scribe V2 ha il WER più basso, pari al 2,2%, nella valutazione dei modelli Speech to Text di Artificial Analysis

Valutazione dei modelli Speech to Text di Artificial Analysis

Un modo per misurare la qualità della conversazione è osservare gli standard di benchmark del settore per i vari componenti. Come puoi vedere, Scribe v2 di ElevenLabs ha il Word Error Rate più basso, pari al 2,2% a giugno 2026: questo significa meno errori di ascolto, meno fallback e una classificazione degli intenti più accurata.

Le aziende potrebbero scoprire che la qualità conversazionale dipende anche dal workflow in cui opera un agente vocale. Nel servizio clienti, per esempio, si potrebbero considerare anche la qualità del passaggio delle escalation o la risoluzione delle FAQ.

Utilizzo degli strumenti e completamento delle attività

Mentre la qualità misura come è stata percepita una conversazione, il completamento delle attività misura se ha portato a un risultato positivo. Le aziende dovrebbero prestare molta attenzione a questa parte del framework di valutazione degli agenti vocali, poiché è direttamente collegata ai risultati aziendali.

Una misura dell'utilizzo degli strumenti è l'accuratezza di compilazione degli slot, che determina quanto bene gli agenti IA riescono a completare attività abbastanza routinarie, come compilare un modulo con le informazioni del cliente. Un'elevata accuratezza dimostra che l'agente può passare senza problemi dalla conversazione all'azione senza perdere informazioni.

Il Task Success Rate (TSR) è una misurazione percentuale delle attività end-to-end che un agente ha completato con successo. Il completamento dipende dalla capacità dell'agente sia di comprendere una richiesta sia di usare gli strumenti connessi corretti (API, database, Retrieval-Augmented Generation (RAG) e knowledge base interne) per ricevere supporto.

La formula del TSR è:

TSR = (Attività completate interamente / Totale attività tentate) x 100

Gli agenti vocali pronti per la produzione dovrebbero puntare a un TSR superiore all'85%, monitorando l'accuratezza e l'affidabilità delle chiamate agli strumenti. Per evitare cali del TSR, assicurati di eseguire regression test per ogni modifica al prompt o al modello connesso. Anche una piccola deviazione potrebbe avere conseguenze significative sul TSR.

Intelligenza

L'intelligenza comprende le capacità di ragionamento e di ordine superiore di un agente vocale. È questo pilastro a distinguere chiaramente un IVR (Interactive Voice Response) a comando vocale da un agente vocale IA.

Le dimensioni principali da valutare includono:

• Rischio di allucinazioni: le allucinazioni, in cui un agente produce informazioni inesatte o incoerenti con i documenti aziendali, sono particolarmente dannose nell'IA vocale perché possono essere espresse con sicurezza. Studi recenti suggeriscono che le allucinazioni frequenti danneggiano significativamente la soddisfazione dei clienti verso gli agenti vocali.
• Gestione delle richieste fuori ambito: gli agenti intelligenti riconoscono quando una domanda esce dal proprio dominio contestuale e sanno rispondere in modo appropriato. Invece di inventare una risposta, rifiutano o reindirizzano la conversazione verso un ambito mappato contestualmente.
• Mantenimento del contesto: nel corso di più turni, un agente riesce a tenere traccia delle entità e degli impegni presi in precedenza? Senza questa capacità, i clienti potrebbero dover ripetere le informazioni o ricevere risposte contraddittorie.
• Ragionamento e logica multi-step: l'agente sa gestire correttamente la logica condizionale o concatenare inferenze attraverso più turni? Soprattutto nei casi d'uso più tecnici, come i servizi finanziari, la capacità di ragionare in un contesto predefinito è essenziale per il successo.

Esistono diversi benchmark di terze parti per queste dimensioni e componenti. Per esempio, l'Holistic Evaluation of Language Models (HELM) di Stanford confronta le prestazioni degli LLM in categorie diverse. Per le allucinazioni, TruthfulQA offre un'analisi solida della frequenza con cui risposte false si insinuano nelle risposte.

Un vantaggio di ElevenAgents è che, a differenza di alcune piattaforme vocali che ti vincolano a un singolo modello sottostante, puoi sostituire completamente il livello LLM. In pratica, puoi integrare il modello che ottiene i risultati migliori nei benchmark di ragionamento per il tuo caso d'uso specifico.

Conformità normativa e sicurezza

Le aziende devono implementare protezioni attive per prevenire output dannosi o in violazione delle policy. A differenza delle istruzioni nei prompt a livello di sistema, che possono essere aggirate o sovrascritte, i controlli indipendenti delle protezioni operano in un livello separato, esterno al modello. Valutano gli output prima che raggiungano l'utente e interrompono la conversazione se entra in un territorio pericoloso.

L'auditabilità è un requisito correlato: gli agenti in produzione devono mantenere log dettagliati di decisioni e output in un formato che supporti la revisione a posteriori. Soprattutto nei settori fortemente regolamentati, poter dimostrare la conformità dopo i fatti è importante quanto ottenerla fin dall'inizio.

Le normative specifiche che la tua azienda deve rispettare variano in base al settore. Alcuni dei framework applicabili più comuni sono:

• HIPAA: per i dati sanitari protetti nei contesti sanitari statunitensi.
• PCI-DSS: per qualsiasi agente che gestisca dati delle carte di pagamento.
• GDPR: obblighi in materia di privacy dei dati per l'UE e per le aziende con clienti nell'UE.

Per le aziende che valutano il proprio livello di conformità, ElevenLabs è conforme ad AICPA SOC Type II e al GDPR e ha ottenuto la certificazione AIUC-1. Lo AIUC-1 è uno standard di sicurezza progettato specificamente per gli agenti IA.

Affidabilità

L'affidabilità è l'ultimo pilastro del nostro framework di valutazione degli agenti vocali e riguarda la capacità di un agente di fornire risultati costanti in tempo reale.

Quando valuti un agente vocale, cerca le seguenti caratteristiche:

• Uptime: qualsiasi implementazione rivolta ai clienti richiede un uptime del 99,9% per evitare interruzioni del servizio. Per i casi d'uso sempre attivi, come l'assistenza in entrata, un uptime affidabile è un fattore fondamentale.
• Degrado controllato: data la complessità intrinseca degli agenti vocali, se un componente inizia a non funzionare, l'agente dovrebbe gestire il degrado in modo controllato. In pratica, questo significa instradare la richiesta a una persona anziché continuare a operare sotto maggiore stress o restituendo errori.
• Prestazioni sotto carico: il load testing dovrebbe simulare almeno il doppio del picco di concorrenza previsto prima del go-live. Testare sotto forte pressione può individuare aumenti di latenza o cali prestazionali che emergono soltanto su larga scala.

Anche un modello di alta qualità che soddisfa tutti gli altri requisiti può essere inutilizzabile se non scala in base alla domanda dei clienti. Un milione di creator e aziende leader si affidano a ElevenAgents, a dimostrazione della capacità della piattaforma di supportare implementazioni su scala enterprise senza compromettere i benchmark prestazionali.

Come misurare il MOS per gli agenti vocali (passo dopo passo)

Se la tua azienda vuole misurare manualmente il MOS, avrai bisogno di un ampio gruppo di ascoltatori umani e di una selezione di clip audio tratte da conversazioni reali. È un processo strutturato che prevede la raccolta dei feedback, il calcolo delle medie e l'interpretazione dei dati.

Ecco come misurare il MOS per gli agenti vocali nella pratica:

1. Prepara il set di test: seleziona un campione rappresentativo di output audio del tuo agente, che copra almeno 100 clip di conversazioni diverse.
2. Esegui la sessione di valutazione: chiedi agli ascoltatori umani di valutare ogni clip su una scala da 1 a 5, in base alla qualità dell'esperienza di comunicazione.
3. Aggrega le valutazioni e calcola i punteggi: calcola la media delle valutazioni per ciascuna clip, quindi la media di tutte le clip del campione per ottenere il MOS complessivo. Un MOS pari o superiore a 4,3 indica che il tuo agente vocale è pronto per la produzione.

Anche se richiede molto lavoro manuale, questo processo ti fornirà un MOS solido per l'agente vocale scelto. Se vuoi eseguire il test su larga scala, puoi sostituire gli ascoltatori umani con strumenti automatici come NISQA, che prevedono programmaticamente i punteggi MOS. Puoi integrare questi sistemi nelle pipeline attive per monitorare continuamente il MOS nel tempo.

Benchmark di test IA e umani: FCR, AHT e CSAT

Calcolare ripetutamente il MOS nel tempo consente di rilevare miglioramenti o regressioni del modello; puoi però aggiungere contesto confrontandolo con le prestazioni umane. Osservare ciò che le persone ottengono realmente in ruoli simili mostra se il tuo agente vocale opera a un livello vicino all'ideale.

Ecco alcune metriche da considerare nei benchmark di test tra IA e persone.

Gli agenti IA dovrebbero poter eguagliare gli agenti umani in FCR e CSAT, migliorando significativamente l'AHT. Questo miglioramento deriva dal fatto che gli agenti IA gestiscono di norma conversazioni più generiche rispetto agli agenti umani. Molte aziende implementano un workflow in cui gli agenti IA rispondono per primi e trasferiscono le chiamate agli agenti umani soltanto quando sono troppo complesse da gestire in autonomia.

I dati del 2025 di Poe, un aggregatore di confronto dell'IA, rivelano che ElevenLabs ha mantenuto la migliore capacità complessiva di soddisfare le richieste, completando il 74,4% di tutte le richieste in entrata. Il successo si è tradotto in una crescita rapida dell'utilizzo: Eleven v3 e v2.5-Turbo rappresentano nel tempo oltre il 60% dei messaggi inviati ai modelli IA.

Messaggi inviati ai modelli IA nel tempo: ElevenLabs guida il framework di valutazione degli agenti vocali di Poe

Messaggi inviati ai modelli IA nel tempo, secondo il benchmark di Poe

Errori comuni nei test degli agenti vocali

Quando segui un framework di valutazione degli agenti vocali, può essere allettante testare gli scenari migliori. In realtà, l'esperienza quotidiana dei clienti che interagiscono con i tuoi sistemi di IA vocale non avviene in condizioni ideali.

Ecco tre errori comuni nei test degli agenti vocali e come correggerli:

• Testare il percorso più semplice: soprattutto quando selezioni clip audio per il MOS, assicurati di includere casi d'uso limite. Le clip con rumore di fondo o parlato con accento sono estremamente comuni nella vita reale, quindi testare esclusivamente file audio “puliti” porterà a una calibrazione errata del MOS.
• Privilegiare il contenimento rispetto alla risoluzione: ottimizzare i modelli per trattenere gli utenti nel sistema dell'agente aumenta i tassi di contenimento senza migliorare i risultati. Se l'FCR è basso nonostante un alto tasso di contenimento, l'agente intrappola gli utenti in un ciclo frustrante. Prevedi procedure che consentano agli utenti di parlare con agenti umani, se lo desiderano.
• Ignorare i percentili di latenza: gli SLA spesso definiscono la latenza al livello P95. Sebbene questa metrica sia importante per offrire un'esperienza coerente alla maggior parte dei clienti, non dimenticare che anche il 5% finale è composto da clienti reali. Su larga scala, il 5% di un sistema che gestisce 10.000 chiamate al giorno rappresenta comunque 500 persone che vivono una conversazione lenta. Usa P99 come obiettivo SLA principale, non soltanto la mediana o P95.

Tenendo a mente questi aspetti, puoi definire baseline eque e rappresentative invece di basarti su medie idealizzate.

Perché servono valutazioni specifiche per caso d'uso

Sebbene i sei pilastri definiti in questo framework offrano indicazioni sulle aree da esplorare, il peso di ciascuno dipende dal tuo settore. Per esempio, un'azienda nei servizi finanziari potrebbe dare priorità alla conformità normativa e all'utilizzo degli strumenti, mentre un brand rivolto ai consumatori potrebbe considerare la qualità della voce TTS il principio guida.

Ecco due esempi di valutazioni specifiche per caso d'uso e di come possono modificare l'equilibrio tra i vari pilastri.

Assistenza clienti

In alcuni settori, come i call center, altre metriche di completamento delle attività, come la risoluzione al primo contatto (FCR), sono una parte importante della valutazione. Gestire con successo una chiamata in entrata senza intervento umano riduce notevolmente il carico di lavoro degli agenti umani dell'assistenza clienti. McKinsey stima che i call center che usano agenti vocali possano ridurre il volume delle interazioni fino al 50%.

Pur essendo meno importante del tasso di successo delle attività, un'altra dimensione da considerare è il tasso di contenimento. Questa metrica esamina la durata totale di una chiamata. Se il tasso di contenimento è molto alto ma l'FCR è basso, gli agenti tengono le persone in linea senza fornire una soluzione al cliente. In pratica, questo può trasformarsi in una frustrante esperienza in cui il cliente gira in tondo.

Altre metriche da monitorare sono l'AHT, con gli agenti IA che puntano a risolvere rapidamente i problemi di routine. Per questo, nell'assistenza clienti si darà priorità alla qualità della conversazione, in particolare alla gestione dei turni e al tasso di fallback, rispetto ad altre aree.

Sanità

La sanità è un settore altamente regolamentato, con rigorosi requisiti di conformità che rendono estremamente delicato il funzionamento degli agenti vocali. La conformità è una questione centrale e sposta in modo significativo il peso del pilastro della sicurezza verso questo aspetto e l'intelligenza, più di ogni altro.

I chatbot sanitari devono gestire la pianificazione degli appuntamenti, le modalità di accesso alla telemedicina, il triage dei sintomi e le domande sull'assicurazione. Tutte queste attività richiedono un elevato livello di intelligenza e utilizzo degli strumenti, confermando ancora una volta che le esigenze specifiche del settore o del ruolo influenzano quale pilastro sia più importante.

Qualunque sia il settore in cui opera la tua azienda, comprendere i pilastri fondamentali della valutazione degli agenti vocali e applicarli in modo equilibrato ti aiuterà a trovare gli agenti più adatti a te.

Crea con ElevenAgents per prestazioni elevate e bassa latenza

La piattaforma su cui scegli di creare influenza direttamente il modo in cui gli agenti vocali operano nei workflow reali. Soprattutto quando interagiscono con i tuoi clienti, devi poter contare sul fatto che il tuo agente eccella in ogni categoria.

ElevenAgents è progettato per implementazioni vocali in produzione e combina un TTS leader del settore tramite Eleven v3, STT in tempo reale tramite Scribe v2, e un livello di orchestrazione degli agenti progettato per la scala enterprise. Ogni componente è progettato per rispondere ai benchmark indicati in questo framework, consentendoti di offrire esperienze di alta qualità ai tuoi clienti.

Che tu stia valutando le opzioni o sia pronto a iniziare a creare, ElevenLabs ha un percorso per te. Esplora la piattaforma ElevenAgents per scoprire come si adatta al tuo caso d'uso oppure registrati e inizia a creare oggi.

FAQ sulla valutazione degli agenti vocali