Cadre d’évaluation des agents vocaux : explication des 6 piliers

Les agents vocaux doivent orchestrer une symphonie d'outils quasi simultanés. Ils enregistrent les propos d'un client grâce à la reconnaissance vocale (STT) en temps réel, assimilent le contexte et produisent une réponse avec un grand modèle de langage (LLM), puis génèrent un fichier audio avec un logiciel de synthèse vocale (TTS).

Avec autant de composants en mouvement, comment évaluer précisément les performances d'un agent vocal ?

Dans cet article, nous proposons un cadre d'évaluation des agents vocaux en six piliers, qui indique précisément les éléments à mesurer pour évaluer leur efficacité. Nous verrons aussi pourquoi ces piliers n'ont pas le même poids selon les secteurs et quelles erreurs éviter lors des évaluations.

En résumé

• Les six principaux piliers d'évaluation des agents vocaux sont la qualité de la voix TTS, la qualité conversationnelle, l'utilisation des outils et l'exécution des tâches, l'intelligence, la conformité et la sécurité, ainsi que la fiabilité.
• Les principaux objectifs de production sont un MOS de 4,3, un TSR supérieur à 85 % et un délai avant le premier audio inférieur à 500 ms.
• Chaque secteur pondère ces piliers différemment, certains déploiements privilégiant l'un plutôt que les autres.
• Parmi les erreurs de test courantes : n'évaluer que des fichiers audio propres et ignorer les pics de latence P99.
• ElevenLabs affiche de solides résultats sur les métriques clés : Scribe v2 atteint le WER le plus bas du marché, à 2,2 % (Artificial Analysis, juin 2026) ; Flash v2.5 et Turbo v2.5 figurent parmi les modèles les plus rapides (Artificial Analysis, juin 2026) ; et ElevenAgents offre une latence d'inférence d'environ 75 ms.

Qu'est-ce qu'un cadre d'évaluation des agents vocaux ?

Un cadre d'évaluation des agents vocaux IA est un système structuré qui permet de tester les performances selon plusieurs dimensions. Un cadre complet intègre des métriques permettant d'évaluer aussi bien la fidélité audio que le flux conversationnel et la conformité réglementaire.

Contrairement à un chatbot textuel, un agent vocal fait transiter chaque interaction par au moins trois technologies superposées : la reconnaissance automatique de la parole (ASR), qui convertit les paroles de l'utilisateur en texte ; un LLM, qui compose une réponse ; et un système TTS, qui reconvertit cette réponse en audio. Si l'un de ces systèmes échoue, l'ensemble de l'expérience se dégrade.

Cette complexité explique pourquoi les entreprises doivent évaluer les agents vocaux avant de choisir un fournisseur et de les déployer. Une latence supplémentaire ou des réponses imprécises peuvent avoir des conséquences concrètes : perte de clients, amendes réglementaires ou atteinte à la réputation.

Un cadre d'évaluation des agents vocaux s'appuie sur des benchmarks et des données mesurables pour déterminer si un agent convient à certains cas d'usage. Pour l'entreprise, comparer différents modèles vocaux permet de choisir celui qui convient le mieux à ses clients.

Les six piliers à évaluer pour les agents vocaux

Même si créer et déployer un agent IA n'a jamais été aussi simple, les processus à l'œuvre en coulisses restent complexes. Plusieurs composants agissent de concert pour écouter l'utilisateur, comprendre sa demande, transmettre l'information à un LLM, puis produire une réponse audio : de nombreuses actions se déroulent presque simultanément.

Pour choisir le meilleur agent vocal possible, les entreprises ont besoin d'un cadre rigoureux auquel se comparer.

Si les résultats de test vous intéressent davantage, Artificial Analysis propose plusieurs comparaisons d'agents selon différents composants. Ci-dessous figurent les résultats de son comparatif de vitesse entre modèles : ElevenLabs Turbo v2.5 et Flash v2.5 devancent nettement les autres en nombre de caractères traités par seconde.

Pour les développeurs et les entreprises souhaitant mener leurs propres expériences, voici les six piliers à utiliser dans un cadre d'évaluation des agents IA :

• Qualité de la voix TTS : le degré de naturel, de clarté et d'expressivité de la parole synthétisée pour les utilisateurs finaux. Des modèles de référence, comme Eleven v3, offrent une restitution expressive proche de l'humain dans plus de 70 langues.
• Qualité conversationnelle : un modèle comprend-il la parole humaine, en interprète-t-il le sens et répond-il rapidement dans son contexte sur plusieurs tours de conversation ?
• Utilisation des outils : la capacité d'un agent IA à accomplir des tâches avec les ressources disponibles, sans intervention humaine.
• Intelligence : la capacité d'un modèle à raisonner, traiter des entrées nouvelles et éviter les réponses inexactes ou hallucinées.
• Conformité et sécurité : au-delà de leurs capacités, les agents vocaux IA doivent respecter toutes les exigences réglementaires et de conformité, notamment grâce à des garde-fous actifs.
• Fiabilité : des facteurs comme le taux de disponibilité global et la constance des performances sous charge permettent de déterminer si un agent d'IA conversationnelle peut évoluer avec la demande.

Bien que ces piliers soient indépendants, ils sont liés et contribuent à une expérience utilisateur de qualité. Par exemple, si un modèle améliore sa qualité vocale mais conserve une latence élevée, le client subira des temps d'attente gênants avant d'entendre la réponse.

Examinons plus en détail chacun de ces piliers d'évaluation de l'IA vocale.

Qualité de la voix TTS

Commençons par la qualité vocale, probablement le premier élément qu'une personne remarquera en interagissant avec un agent conversationnel IA. Si la voix paraît robotique ou étrange, l'expérience subjective sera nettement moins bonne.

L'une des premières métriques d'évaluation, définie par le secteur de normalisation des télécommunications de l'Union internationale des télécommunications (UIT-T), est le Mean Opinion Score (MOS). Le MOS s'établit sur une échelle de 1 à 5, où 1 est inutilisable et 5 excellent. Cette mesure subjective recueille l'avis d'auditeurs humains après un appel.

Un score inférieur à 3,5 sur l'échelle MOS reste peu convaincant, surtout au regard des standards actuels, et risque d'affecter la satisfaction client.

Si le MOS est une métrique centrée sur l'humain, plusieurs exigences techniques influencent ce score :

• Stabilité de la hauteur et jitter : la hauteur et le jitter sont deux éléments linguistiques que les humains perçoivent naturellement à l'écoute. La « hauteur » désigne les variations d'intonation dans la parole, par exemple lorsque vous élevez naturellement la voix pour poser une question. Le jitter survient lorsque la compréhension de la hauteur varie pour un modèle vocal, qui ne parvient alors plus à maintenir une prosodie cohérente sur toute une phrase. La référence du secteur pour le jitter est de 30 ms.
• Expressivité émotionnelle : une voix claire et précise paraît tout de même inadaptée si son ton ne correspond pas au registre émotionnel visé par une phrase. Sans indices tonals fiables, les auditeurs humains établissent moins de lien avec les agents conversationnels IA et les évaluent moins favorablement. ElevenAgents offre une expressivité proche de celle d'un humain afin d'associer chaque réponse à une intention émotionnelle claire.
• Bruit de fond : le bruit de fond des agents vocaux comporte deux dimensions à évaluer. En sortie, un bruit ambiant est subtilement ajouté aux réponses afin de rendre les agents plus naturels. En entrée, le filtrage du bruit de fond dans la couche STT est une option qui améliore la précision. Testez les deux : vérifiez que le bruit ambiant paraît naturel et évaluez la précision du STT avec et sans filtre anti-bruit.

Pour le MOS, visez un score de 4,3 à 4,5, signe de bons résultats dans chacune de ces catégories perceptives. Pour prédire le MOS à grande échelle sans panel humain, vous pouvez utiliser des outils tels que UTMOS et NISQA.

Qualité conversationnelle

La qualité conversationnelle est un pilier composite, à l'intersection de la qualité vocale et de l'exécution des tâches. Elle mesure l'efficacité avec laquelle un agent vocal comprend les besoins d'un utilisateur, l'interrompt dans son contexte et mène l'échange à son terme sur plusieurs tours de conversation.

La métrique principale est ici la précision de classification des intentions. Elle se situe généralement entre 85 % et 92 %, les meilleurs acteurs dépassant 96 %. Si 85 % peut sembler élevé, cela signifie encore que 15 % des requêtes entrantes sont mal catégorisées et orientées vers les mauvaises ressources.

Les éléments techniques qui contribuent à une classification précise des intentions sont :

• Gestion des tours de parole : elle détermine la capacité d'un agent vocal à gérer le flux naturel d'une conversation : savoir quand écouter, répondre ou attendre davantage d'informations. Elle couvre aussi la gestion des interruptions, lorsqu'un modèle efface une réponse en cours pour en générer une nouvelle à partir de la nouvelle entrée. ElevenLabs utilise un WebSocket multicontexte pour gérer ces interruptions de manière fluide.
• Latence : La latence désigne le délai de bout en bout entre la fin de la phrase d'un utilisateur et le début de la réponse audio de l'agent. Les agents vocaux prêts pour la production doivent viser un délai avant le premier audio inférieur à 500 ms ; moins de 300 ms est préférable. Les modèles Flash d'ElevenLabs offrent un temps d'inférence d'environ 75 ms, parmi les meilleurs du secteur, pour vous placer dans de bonnes conditions dans cette catégorie.
• Taux de repli : le taux de repli mesure la fréquence à laquelle un agent IA ne comprend pas un utilisateur et demande une clarification ou une répétition. Il découle largement de la précision du STT : si la couche de reconnaissance vocale interprète mal les propos d'un client, le LLM reçoit une entrée altérée. Le taux de repli se calcule ainsi : Taux de repli (%) = (Nombre de replis / Nombre total d'interactions) * 100.

ElevenLabs Scribe V2 affiche le WER le plus faible, à 2,2 %, dans l'évaluation des modèles de reconnaissance vocale d'Artificial Analysis

Évaluation des modèles de reconnaissance vocale par Artificial Analysis

Une façon de mesurer la qualité conversationnelle consiste à examiner les benchmarks sectoriels des différents composants. Comme vous pouvez le constater, Scribe v2 d'ElevenLabs affiche le Word Error Rate le plus bas, à 2,2 % en juin 2026 : moins de mauvaises interprétations, moins de replis et une classification des intentions plus précise.

Les entreprises peuvent constater que la qualité conversationnelle dépend aussi du workflow dans lequel l'agent vocal opère. Par exemple, dans le service client, la qualité du transfert lors d'une escalade ou la résolution des FAQ sont aussi à prendre en compte.

Utilisation des outils et exécution des tâches

Là où la qualité mesure le ressenti d'une conversation, l'exécution des tâches détermine si elle a produit un résultat concluant. Les entreprises doivent porter une attention particulière à cette partie du cadre d'évaluation, car elle est directement liée aux résultats commerciaux.

La précision de remplissage des champs mesure notamment l'utilisation des outils : elle indique dans quelle mesure les agents IA peuvent accomplir des tâches courantes, comme renseigner un formulaire avec des informations client. Une forte précision montre que l'agent passe fluidement de la conversation à l'action sans perdre d'informations.

Le Task Success Rate (TSR) est une mesure, exprimée en pourcentage, des tâches de bout en bout qu'un agent a réalisées avec succès. Une tâche est considérée comme accomplie si l'agent comprend la demande et utilise les bons outils connectés (API, bases de données, génération augmentée par récupération [RAG] et bases de connaissances internes).

La formule du TSR est la suivante :

TSR = (Tâches entièrement réalisées / Total des tâches tentées) x 100

Les agents vocaux prêts pour la production doivent viser un TSR supérieur à 85 %, tout en surveillant la précision et la fiabilité des appels d'outils. Pour éviter toute baisse de votre TSR, effectuez des tests de régression après toute modification de prompt ou de modèle connecté. Même un léger écart peut avoir des conséquences importantes sur votre TSR.

Intelligence

L'intelligence recouvre les capacités de raisonnement et de niveau supérieur d'un agent vocal. C'est ce pilier qui distingue clairement un SVI vocal (serveur vocal interactif) d'un agent vocal IA.

Les principales dimensions à évaluer sont :

• Risque d'hallucination : les hallucinations, lorsqu'un agent produit des informations inexactes ou incohérentes avec les documents de l'entreprise, sont particulièrement préjudiciables en IA vocale, car elles peuvent être exprimées avec assurance. Des études récentes suggèrent que les hallucinations fréquentes nuisent fortement à la satisfaction des clients envers les agents vocaux.
• Gestion du hors périmètre : les agents intelligents savent lorsqu'une question sort de leur domaine contextuel et peuvent répondre de manière appropriée. Au lieu d'inventer une réponse, ils refusent ou réorientent la conversation vers un domaine couvert par leur contexte.
• Conservation du contexte : sur plusieurs tours, un agent peut-il suivre les entités et engagements mentionnés plus tôt ? Sans cette capacité, les clients risquent de devoir se répéter ou de recevoir des réponses contradictoires.
• Raisonnement et logique à plusieurs étapes : l'agent peut-il gérer correctement une logique conditionnelle ou enchaîner des inférences sur plusieurs tours ? Dans les cas d'usage plus techniques, tels que les services financiers, la capacité à raisonner dans un contexte prédéfini est essentielle.

Plusieurs benchmarks tiers existent pour ces dimensions et composants. Par exemple, le benchmark Holistic Evaluation of Language Models (HELM) de Stanford évalue les performances des LLM dans différentes catégories. Pour les hallucinations, TruthfulQA fournit une analyse robuste de la fréquence à laquelle des réponses erronées apparaissent.

L'un des avantages d'ElevenAgents est que, contrairement à certaines plateformes vocales qui vous imposent un unique modèle sous-jacent, vous pouvez remplacer entièrement la couche LLM. Vous pouvez ainsi intégrer le modèle le plus performant dans les benchmarks de raisonnement pour votre cas d'usage précis.

Conformité et sécurité

Les entreprises doivent mettre en place des garde-fous actifs pour prévenir les sorties nuisibles ou contraires aux politiques. À la différence des instructions de prompt au niveau du système, qui peuvent être contournées ou remplacées, les contrôles indépendants s'exécutent dans une couche distincte, en dehors du modèle. Ils évaluent les sorties avant qu'elles n'atteignent l'utilisateur et interrompent la conversation si elle dérive vers un terrain dangereux.

L'auditabilité est une exigence connexe : les agents en production doivent conserver des journaux détaillés des décisions et sorties, dans un format permettant une vérification a posteriori. Dans les secteurs fortement réglementés, démontrer la conformité après coup est aussi important que l'assurer dès le départ.

Les réglementations auxquelles votre entreprise doit se conformer varient selon le secteur. Parmi les cadres les plus courants :

• HIPAA : pour les données de santé protégées dans le contexte des soins de santé aux États-Unis.
• PCI-DSS : pour tout agent traitant des données de cartes de paiement.
• RGPD : obligations de confidentialité des données pour l'UE et les entreprises ayant des clients dans l'UE.

Pour les entreprises qui évaluent leur niveau de conformité, ElevenLabs respecte les normes AICPA SOC Type II et RGPD, et a obtenu la certification AIUC-1. La norme AIUC-1 est une norme de sécurité conçue spécifiquement pour les agents IA.

Fiabilité

La fiabilité est le dernier pilier de notre cadre d'évaluation des agents vocaux. Elle détermine si un agent peut fournir des résultats constants en temps réel.

Lors de l'évaluation d'un agent vocal, recherchez les caractéristiques suivantes :

• Disponibilité : tout déploiement destiné aux clients exige une disponibilité de 99,9 % afin d'éviter les interruptions. Elle est particulièrement déterminante pour les cas d'usage permanents, comme l'assistance entrante.
• Dégradation maîtrisée : compte tenu de la complexité sous-jacente des agents vocaux, si un composant commence à échouer, l'agent doit gérer cette dégradation de manière maîtrisée. En pratique, il doit transférer l'échange à une personne plutôt que de continuer à fonctionner sous contrainte ou de renvoyer des erreurs.
• Performances sous charge : avant le lancement, les tests de charge doivent simuler au moins deux fois votre pic de requêtes simultanées attendu. Tester sous forte contrainte permet d'identifier les hausses de latence ou baisses de performances qui n'apparaissent qu'à grande échelle.

Même un modèle de qualité qui répond à tous les autres critères peut être inutilisable s'il ne s'adapte pas à la demande de vos clients. Plébiscité par 1 000 000 de créateurs et d'entreprises, ElevenAgents démontre la capacité de la plateforme à assurer des déploiements à l'échelle de l'entreprise sans compromettre les benchmarks de performance.

Comment mesurer le MOS des agents vocaux, étape par étape

Si votre entreprise souhaite mesurer manuellement le MOS, vous aurez besoin d'un large panel d'auditeurs humains et d'une sélection d'extraits audio issus de conversations réelles. Ce processus structuré consiste à recueillir des avis, en calculer la moyenne, puis interpréter les données.

Voici comment mesurer le MOS d'agents vocaux en pratique :

1. Préparez votre jeu de test : sélectionnez un échantillon représentatif des sorties audio de votre agent, couvrant au moins 100 extraits de conversations variées.
2. Organisez la session d'évaluation : demandez à vos auditeurs humains d'évaluer chaque extrait sur une échelle de 1 à 5, selon la qualité de l'expérience de communication.
3. Regroupez les évaluations et calculez les scores : calculez la moyenne des notes de chaque extrait, puis celle de l'ensemble des extraits pour obtenir un MOS global. Un MOS de 4,3 ou plus indique que votre agent vocal est prêt pour la production.

Bien qu'intensif en travail manuel, ce processus vous donnera un MOS fiable pour l'agent vocal choisi. Pour effectuer le test à grande échelle, vous pouvez remplacer les auditeurs humains par des outils automatisés tels que NISQA, qui prédisent les scores MOS par programmation. Intégrez ces systèmes à vos pipelines actifs afin de suivre continuellement le MOS dans le temps.

Benchmarks de test IA et humain : FCR, AHT et CSAT

Calculer régulièrement le MOS permet d'observer les améliorations ou régressions d'un modèle. Vous pouvez enrichir cette analyse en vous comparant aux performances humaines. Les résultats obtenus par des personnes dans des rôles similaires indiqueront si votre agent vocal se rapproche d'un niveau idéal.

Voici quelques métriques à prendre en compte pour les benchmarks IA et humain.

Les agents IA doivent pouvoir égaler les agents humains en FCR et en CSAT, tout en améliorant nettement l'AHT. Cette amélioration tient au fait que les agents IA traitent généralement des conversations plus générales que les agents humains. De nombreuses entreprises mettent en place un workflow où les agents IA répondent en premier, puis transfèrent les appels aux agents humains seulement s'ils sont trop complexes à gérer de façon autonome.

Des données de 2025 de Poe, un agrégateur de comparaison d'IA, révèlent qu'ElevenLabs a conservé la meilleure capacité globale à répondre aux requêtes, avec 74,4 % de l'ensemble des requêtes entrantes traitées avec succès. Cette réussite s'est traduite par une croissance rapide de l'utilisation : Eleven v3 et v2.5-Turbo représentent plus de 60 % des messages envoyés aux modèles IA au fil du temps.

Messages envoyés aux modèles IA au fil du temps : ElevenLabs en tête du cadre d'évaluation des agents vocaux de Poe

Messages envoyés aux modèles IA au fil du temps, selon le benchmark de Poe

Erreurs courantes lors des tests d'agents vocaux

Lorsqu'on suit un cadre d'évaluation des agents vocaux, il peut être tentant de tester les scénarios les plus favorables. Pourtant, l'expérience quotidienne des clients qui interagissent avec vos systèmes d'IA vocale ne se déroule pas dans des conditions idéales.

Voici trois erreurs courantes lors des tests d'agents vocaux et comment les corriger :

• Tester le scénario le plus simple : lors de la sélection d'extraits audio pour le MOS, incluez des cas limites. Les extraits avec bruit de fond ou parole accentuée sont très fréquents dans la réalité ; tester uniquement des fichiers audio « propres » faussera donc l'étalonnage du MOS.
• Privilégier le confinement à la résolution : optimiser vos modèles pour retenir les utilisateurs dans votre système d'agents gonfle les taux de confinement sans améliorer les résultats. Si votre FCR est faible malgré un taux de confinement élevé, l'agent fait tourner les utilisateurs dans une boucle frustrante. Prévoyez un moyen de permettre aux utilisateurs de parler à un agent humain s'ils le souhaitent.
• Ignorer les percentiles de latence : les SLA définissent souvent la latence au niveau P95. Cette métrique est importante pour garantir une expérience cohérente à la majorité de vos clients, mais les 5 % restants sont aussi de vrais clients. À grande échelle, 5 % d'un système qui traite 10 000 appels par jour représentent encore 500 personnes confrontées à une conversation lente. Faites de P99 votre objectif principal de SLA, et ne vous limitez pas à la médiane ou au P95.

En tenant compte de ces éléments, vous pourrez établir des références justes et représentatives, plutôt que de vous fonder sur des moyennes idéalisées.

Pourquoi adapter l'évaluation à chaque cas d'usage

Si les six piliers de ce cadre indiquent les domaines à explorer, la pondération de chacun dépend de votre secteur. Une entreprise de services financiers peut par exemple privilégier la conformité et l'utilisation des outils, tandis qu'une marque grand public accordera davantage d'importance à la qualité de la voix TTS.

Voici deux exemples d'évaluations adaptées à un cas d'usage, qui montrent comment l'équilibre entre les piliers peut évoluer.

Service client

Dans certains secteurs, comme les centres d'appels, d'autres métriques d'exécution des tâches, telles que la résolution au premier appel (FCR), sont essentielles. Traiter un appel entrant avec succès sans intervention humaine réduit considérablement la demande adressée aux agents du service client. McKinsey estime que les centres d'appels utilisant des agents vocaux peuvent réduire le volume d'interactions jusqu'à 50 %.

Bien que moins important que le taux de réussite des tâches, le taux de confinement constitue une autre dimension à considérer. Il mesure la durée totale d'un appel. Si ce taux est très élevé mais que votre FCR est faible, vos agents maintiennent les personnes en ligne sans résoudre leur problème. Pour le client, cela peut se traduire par une expérience frustrante où il tourne en rond.

L'AHT est une autre métrique à suivre : les agents IA doivent résoudre rapidement les problèmes courants. Le service client privilégie donc la qualité conversationnelle, notamment la gestion des tours de parole et le taux de repli, par rapport à d'autres domaines.

Santé

Le secteur de la santé est fortement réglementé, avec des exigences strictes de conformité qui rendent l'utilisation d'agents vocaux particulièrement délicate. La conformité est une préoccupation centrale : elle augmente fortement le poids du pilier de sécurité et de l'intelligence par rapport aux autres.

Les chatbots de santé doivent gérer la prise de rendez-vous, les parcours d'accès à la télésanté, le triage des symptômes et les questions d'assurance. Toutes ces tâches exigent un haut niveau d'intelligence et d'utilisation des outils, ce qui confirme que les exigences propres à un secteur ou à un rôle déterminent le pilier le plus important.

Quel que soit le secteur de votre entreprise, comprendre les piliers fondamentaux de l'évaluation des agents vocaux et les appliquer de manière équilibrée vous aidera à trouver les agents qui vous conviennent.

Créez avec ElevenAgents pour des performances élevées et une faible latence

La plateforme sur laquelle vous créez vos agents influence directement leurs performances dans les workflows réels. Lorsqu'ils interagissent avec vos clients, vous devez avoir la certitude qu'ils excellent dans chaque catégorie.

ElevenAgents est conçu pour les déploiements vocaux en production et associe un TTS de référence via Eleven v3, un STT en temps réel avec Scribe v2, et une couche d'orchestration d'agents conçue pour l'échelle de l'entreprise. Chaque composant est conçu pour répondre aux benchmarks définis dans ce cadre et vous permettre d'offrir des expériences de qualité à vos clients.

Que vous compariez encore les options ou soyez prêt à commencer, ElevenLabs vous accompagne. Découvrez la plateforme ElevenAgents pour voir comment elle répond à votre cas d'usage, ou créez un compte et commencez dès aujourd'hui.

FAQ sur l'évaluation des agents vocaux