Taux d’erreur sur les mots (WER) : concepts clés, formule et usages

En théorie, le taux d’erreur sur les mots (WER) est un indicateur permettant de mesurer la précision d’un outil de reconnaissance vocale automatique (ASR). Un WER faible signifie que votre transcription finale est plus fidèle, tandis qu’un taux d’erreur élevé indique des informations mal transcrites.

En pratique, le WER peut faire la différence entre un logiciel de transcription médicale qui écrit qu’un patient a besoin de « quinze milligrammes » ou de « cinquante milligrammes » d’un médicament. C’est aussi l’écart entre un outil d’assistance qui retranscrit fidèlement les besoins d’un client et un autre qui laisse votre utilisateur frustré.

Dans cet article, nous expliquons ce qu’est le WER, comment le calculer et comment l’utiliser pour évaluer votre propre fournisseur ASR.

Résumé

• Le taux d’erreur sur les mots comptabilise trois types d’erreurs : substitutions, suppressions et insertions, divisées par le nombre de mots dans la transcription de référence.
• La formule du WER est WER = (S + D + I) / N.
• Un WER plus faible indique une sortie finale plus précise.
• Un WER inférieur à 5 % constitue une bonne référence, mais les transcriptions juridiques ou médicales peuvent exiger un taux d’erreur encore plus bas.
• Le WER considère toutes les erreurs comme équivalentes, ce qui en fait un indicateur imparfait pour l’analyse contextuelle. De nouveaux indicateurs, comme le Semantic Word Error Rate (SWER), cherchent à mesurer si le sens d’une phrase a été préservé.

Qu’est-ce que le taux d’erreur sur les mots ?

Le taux d’erreur sur les mots (WER) est la mesure de référence pour évaluer la précision des modèles de reconnaissance vocale dans le Speech to Text. Il s’exprime sous la forme d’un nombre entre 0 et 1 (0,8 correspond à un taux d’erreur de 80 %) et indique ce qu’un système STT retranscrit de façon erronée, en tenant compte des substitutions, suppressions et insertions.

Une substitution correspond à un mot remplacé par un autre incorrect. Une suppression signifie qu’un mot a été omis. Enfin, une insertion désigne l’ajout d’un mot qui n’a jamais été prononcé. Le WER additionne ces trois éléments, puis divise le total par le nombre de mots dans la transcription correcte, ce qui permet de comparer différents fournisseurs.

Voici la formule du WER détaillée :

WER = (S + D + I) / N

Où :

• S : Substitutions (mot incorrect)
• D : Suppressions (mot manquant)
• I : Insertions (mot ajouté)
• N : Nombre total de mots dans la transcription de référence

Le WER peut s’exprimer en décimal ou en pourcentage. Plus le WER est bas, meilleure est la performance du modèle, car il commet moins d’erreurs lors de la transcription.

En pratique, un WER de 10 % signifie qu’environ 1 mot sur 10 dans la transcription de votre réunion mérite d’être vérifié.

Pourquoi le taux d’erreur sur les mots est-il important dans les systèmes de reconnaissance vocale ?

Le taux d’erreur sur les mots fournit un indicateur objectif permettant aux équipes de comparer différents fournisseurs. Il permet de dépasser les arguments marketing et d’obtenir une vision claire de la précision d’un modèle de reconnaissance vocale. En s’appuyant sur des preuves, toute entreprise peut ainsi identifier les modèles les plus performants du marché.

Source : Artificial Analysis consulté le 10 juillet 2026.

En juillet 2026, une étude indépendante menée par Artificial Analysis classe Scribe v2 d’ElevenLabs comme affichant le WER le plus bas du secteur sur le jeu de données AA-AgentTalk pour les modèles de transcription non streaming, avec un score de 1,5 %.

Au-delà de la comparaison des fournisseurs, le WER a un impact concret sur le produit. Un logiciel de transcription médicale avec un WER de 12 % peut introduire des erreurs critiques dans le dossier patient. Des erreurs de transcription lors d’un appel au support client peuvent entraîner des conséquences en cascade, comme une analyse de sentiment erronée ou une mauvaise catégorisation.

Au-delà de ces enjeux propres à chaque cas d’usage, lorsque les systèmes ASR échouent, les personnes les plus impactées sont souvent celles pour qui la transcription est le seul moyen d’accéder au contenu oral. Le World Wide Web Consortium propose une documentation approfondie sur les standards minimaux attendus par les initiatives d’accessibilité pour mieux comprendre le contexte.

Comment calculer le taux d’erreur sur les mots : formule et exemple

Calculer le taux d’erreur sur les mots est un processus simple une fois les étapes connues. Comme vu précédemment, la formule à utiliser est WER = (S + D + I) / N. Tous les termes sont expliqués plus haut, mais pour rappel il s’agit des substitutions, suppressions, insertions, et N pour le nombre total de mots dans la transcription.

Voici comment calculer le WER :

1. Créez une transcription de référence : Utilisez une transcription humaine vérifiée pour obtenir une version fidèle d’un extrait audio.
2. Utilisez votre outil STT : Utilisez une plateforme ASR pour transcrire l’extrait audio et obtenir une transcription IA qui servira de test.
3. Alignez les deux versions : Utilisez la programmation dynamique (notamment l’algorithme de Levenshtein) pour déterminer le nombre minimal de modifications. Nous détaillerons cet algorithme dans une section suivante.
4. Appliquez la formule : Comptez le nombre total d’erreurs dans la version générée par l’IA par rapport à la version humaine vérifiée, puis appliquez la formule WER = (S + D + I) / N pour obtenir le WER exact.

Cela paraît technique sur le papier, mais c’est en réalité bien plus simple à mettre en œuvre. Voici un exemple pratique pour illustrer.

Transcription de référence : Mrs. Dalloway said she would buy the flowers herself.

Sortie ASR : Miss Dalloway said she would buy flowers herself.

En calculant le total des erreurs, on obtient 1 S et 1 D sur 9 mots au total.

En appliquant la formule, on obtient : WER = 2 / 9 = 0,222 = 22,2 %. 

Calculer le taux d’erreur sur les mots avec Python

Si la méthode manuelle fonctionne bien, vous pouvez gagner du temps en calculant le WER avec Python. La bibliothèque jiwer gère tout cela automatiquement.

Grâce à la documentation jiwer, vous pouvez installer le package, conçu pour évaluer un système ASR et produire des indicateurs clés comme le WER. Une fois installé, le code suivant permet de calculer rapidement le WER avec Python :

from jiwer import wer

reference = "the quick brown fox jumps over the lazy dog"
asr = "the quick brown fox leaps over the last lazy dog"

print(wer(reference, asr))  # 0.222

Dans cet exemple, la sortie ASR diffère de la référence à deux endroits. Le mot « jumps » a été mal transcrit en « leaps » (substitution) et « last » a été inséré avant « lazy » (insertion). Avec deux erreurs sur les neuf mots de la transcription de référence, cela donne un taux d’erreur sur les mots (WER) de 0,222 ou 22,2 %. 

Comparer le taux d’erreur sur les mots et d’autres indicateurs de reconnaissance

Si le WER est la mesure de référence pour évaluer la précision d’un ASR, d’autres outils existent. Par exemple :

• Character Error Rate (CER) : Comme le WER, il mesure la précision de la transcription, mais au niveau du caractère plutôt qu’au niveau du mot. Idéal pour les langues sans séparation claire entre les mots (scriptio continua) ou pour les tâches sensibles à l’orthographe.
• Match Error Rate (MER) : Mesure la proportion d’erreurs de transcription en traitant les substitutions, insertions et suppressions différemment du WER. Il s’intéresse à la proportion d’erreurs dans une phrase.
• Word Information Lost (WIL) : Estime la quantité d’information originale perdue lors de la transcription, offrant une mesure de l’intelligibilité plutôt qu’un simple comptage d’erreurs comme le WER.
• Embedding Error Rate (EmbER) : Propose une analyse sémantique entre les transcriptions. Il va au-delà du WER pour donner une idée de la distance sémantique entre le mot correct et la transcription erronée.

Chaque indicateur est adapté à un contexte différent. Voici un tableau de référence :

Exemples de distance de Levenshtein : les mathématiques derrière le WER

Le taux d’erreur sur les mots mesure en réalité la distance entre la transcription originale et la sortie hypothétique. Pour comprendre cette différence mathématiquement, on utilise la distance de Levenshtein.

La distance de Levenshtein correspond au nombre minimal de modifications unitaires nécessaires pour transformer une séquence en une autre. Pour le WER, il s’agit précisément des substitutions, insertions et suppressions. Par exemple, pour transformer « Cat » en « Mat », il suffit de remplacer le « C » par un « M », soit une distance de Levenshtein de 1.

On retrouve davantage ce calcul dans le CER, mais le WER applique la distance de Levenshtein au niveau du mot. Chaque unité correspond à un mot entier plutôt qu’à un caractère, et la distance réelle mesure le nombre de modifications nécessaires pour transformer la sortie ASR en transcription fidèle.

On construit une matrice où chaque case représente la distance totale entre la transcription originale et celle de l’ASR. La distance de Levenshtein remplit la matrice du coin supérieur gauche au coin inférieur droit, la dernière case donnant le nombre total de modifications au niveau des mots. En divisant ce nombre par N, on obtient le WER.

Bien que cette matrice soit généralement calculée caractère par caractère, voici une version adaptée à notre exemple précédent pour plus de clarté.

Pièges courants et idées reçues sur le taux d’erreur sur les mots

À mesure que les API STT se démocratisent et que les logiciels ASR s’intègrent dans de nombreux outils d’agents, les comparaisons entre solutions vont se multiplier.

Avant de calculer vos propres taux d’erreur sur les mots, il existe quelques pièges et idées reçues à connaître.

• Toutes les erreurs se valent : Le WER considère chaque erreur comme aussi importante qu’une autre. Cela peut convenir dans de nombreux contextes, mais dans certains cas, c’est inacceptable. Par exemple, à l’hôpital, un taux d’erreur de 5 %, pourtant considéré comme bon, peut rendre une transcription incompréhensible, car une ou deux erreurs peuvent mettre un patient en danger. Cette limite a conduit au développement de nouveaux indicateurs, comme le Semantic Word Error Rate (SWER), qui cherche à mesurer si le sens d’une phrase a été préservé plutôt que la correspondance exacte des mots.
• Le WER peut dépasser 100 % : Bien que le WER soit généralement compris entre 0 et 1, il peut dépasser 100 %. Cela s’explique par les erreurs d’insertion, qui peuvent générer plus de mots que la transcription originale. Un cas fréquent est la transcription de « I’m » en « I am », où un mot devient deux.
• Un WER plus bas n’est pas toujours synonyme de meilleure qualité : Un WER de 5 % est, sur le papier, meilleur qu’un WER de 10 %. Mais si les erreurs du 5 % modifient fortement le sens d’une phrase, alors que celles du 10 % n’ont pas d’impact, la réalité est différente. Le contexte reste donc essentiel, et des indicateurs comme le SWER ont été développés pour prendre en compte cet aspect sémantique.

En 2024, Apple a publié une étude intéressante sur ce point. Lorsque des humains ont évalué une transcription avec un WER de 9,4 % en se demandant si elle était lisible, ils ont attribué à ce même passage un WER de seulement 2,2 %. Dans l’exemple testé, les humains jugeaient de nombreuses « erreurs » comme négligeables, produisant un WER humain plus de 4 fois plus tolérant que celui des machines.

Références sectorielles pour le WER

Le WER idéal dépend fortement du secteur ou du cas d’usage dans lequel vous déployez une technologie ASR. Si <5 % constitue une référence sectorielle, certains domaines comme la transcription médicale ou juridique exigent un taux bien plus bas.

Dans l’étude de juillet 2026 menée par Artificial Analysis, Scribe v2 d’ElevenLabs a obtenu un WER de 1,5 %. Il est toutefois important de rappeler que ces statistiques concernent généralement l’anglais comme langue principale. La technologie STT dans d’autres langues peut être moins performante.

La documentation ElevenLabs détaille les plages de WER générales pour l’ensemble des langues prises en charge par Scribe v1 et Scribe v2.

Commencez avec ElevenAPI pour améliorer la précision de la reconnaissance

Lorsque vous développez une application ou un produit où la qualité de la transcription est essentielle, la différence entre une API ASR bien choisie et une solution moyenne se reflète d’abord dans votre WER, puis dans l’expérience de vos utilisateurs.

ElevenLabs Scribe est la couche Speech to Text accessible via ElevenAPI. Avec plus de 90 langues et un WER de référence dans le secteur, il propose des fonctionnalités comme la diarisation des locuteurs, les timecodes au niveau du mot, le keyterm prompting et la détection d’entités.

Consultez la documentation ElevenLabs pour en savoir plus sur ElevenAPI ou commencez dès maintenant en créant un compte.

FAQ sur le taux d’erreur sur les mots