Word Error Rate (WER): Zentrale Konzepte, Formel und Anwendungsbereiche

Theoretisch ist die Wortfehlerrate (WER) eine Kennzahl zur Bestimmung der Genauigkeit eines automatischen Spracherkennungssystems (ASR). Eine niedrige WER bedeutet, dass Ihr endgültiges Transkript genauer ist. Eine höhere Fehlerrate weist auf falsch transkribierte Informationen hin. 

In der Praxis kann die WER den Unterschied ausmachen zwischen einer medizinischen Transkriptionssoftware, die schreibt, ein Patient benötige „fünfzehn Milligramm“ statt „fünfzig Milligramm“ eines Medikaments. Sie trennt ein Support-Tool, das die Anliegen eines Kunden präzise transkribiert, von einem, das Ihre Nutzer frustriert zurücklässt.

In diesem Artikel erklären wir, was die WER ist, wie Sie sie berechnen und wie Sie damit Ihren ASR-Anbieter vergleichen können.

Zusammenfassung

• Die Wortfehlerrate zählt drei Fehlertypen – Ersetzungen, Auslassungen und Einfügungen – und teilt sie durch die Wortanzahl im Referenztranskript.
• Die Formel für die WER lautet: WER = (S + D + I) / N. 
• Niedrigere WER-Werte bedeuten, dass die Ausgabe genauer ist.
• Eine WER unter 5 % ist ein guter Richtwert. Juristische oder medizinische Transkriptionen können jedoch eine noch niedrigere Wortfehlerrate erfordern.
• Die WER behandelt alle Fehler gleich. Daher ist sie keine perfekte Kennzahl für die kontextbezogene Bewertung. Neue Kennzahlen wie die Semantic Word Error Rate (SWER) erfassen, ob die Bedeutung einer Äußerung erhalten blieb.

Was ist die Wortfehlerrate?

Die Wortfehlerrate (WER) ist die Standardkennzahl zur Messung der Spracherkennungsgenauigkeit in Speech-to-Text-Modellen. Sie gibt auf einer Skala von 0 bis 1 an, was ein STT-System bei der Transkription falsch erkennt – 0,8 entspricht beispielsweise einer Fehlerrate von 80 %. Berücksichtigt werden Ersetzungen, Auslassungen und Einfügungen.

Bei einer Ersetzung wird ein Wort durch ein falsches ersetzt. Bei einer Auslassung fehlt ein Wort vollständig. Bei einer Einfügung enthält das Transkript ein Wort, das nie gesagt wurde. Die WER verwendet alle drei Komponenten und teilt sie durch die Wortanzahl im korrekten Transkript. So erhalten Sie einen Wert zum Vergleich mit anderen Anbietern.

Die WER-Formel lautet:

WER = (S + D + I) / N

Dabei gilt:

• S: Ersetzungen (Wort ist falsch)
• D: Auslassungen (Wort fehlt)
• I: Einfügungen (zusätzliches Wort ist vorhanden)
• N: Gesamtzahl der Wörter im Referenztranskript

Sie können die WER als Dezimalzahl oder Prozentwert angeben. Je niedriger die WER, desto besser ist Ihr Ergebnis, da das Modell bei der Transkription weniger Fehler gemacht hat. 

In der Praxis bedeutet eine WER von 10 %, dass etwa jedes zehnte Wort in Ihrem Besprechungstranskript geprüft werden sollte. 

Warum ist die Wortfehlerrate für Spracherkennungssysteme wichtig?

Die Wortfehlerrate liefert Teams eine objektive Kennzahl zum Vergleich verschiedener Anbieter. Sie geht über Marketingversprechen hinaus und zeigt klar, wie genau ein Spracherkennungsmodell ist. Unternehmen, die ihre Optionen anhand von Fakten bewerten, erkennen dadurch klar, welche Modelle aktuell führend sind.

Quelle: Artificial Analysis, abgerufen am 10. Juli 2026.

Stand Juli 2026 stuft die unabhängige Studie von Artificial Analysis ElevenLabs Scribe v2 beim AA-AgentTalk-Datensatz für nicht streamende Transkriptionsmodelle als Branchenführer mit der niedrigsten WER ein: 1,5 %.

Über die Anbieterbewertung hinaus wirkt sich die WER auf Produkte in der Praxis aus. Medizinische Transkriptionssoftware mit einer WER von 12 % könnte kritische Fehler in Patientenakten verursachen. Falsch transkribierte Kundensupport-Gespräche können Folgeprobleme verursachen, etwa ungenaue Sentiment-Analysen oder eine fehlerhafte Kategorisierung.

Neben diesen anwendungsspezifischen Problemen sind bei Fehlern von ASR-Systemen häufig Menschen am stärksten betroffen, für die das Transkript überhaupt der einzige Zugang zu gesprochenen Inhalten ist. Das World Wide Web Consortium bietet ausführliche Dokumentation zu den Mindeststandards von Barrierefreiheitsinitiativen.

So berechnen Sie die Wortfehlerrate: Formel und Beispiel

Die Wortfehlerrate lässt sich einfach berechnen, sobald Sie die Schritte kennen. Wie oben beschrieben, verwenden Sie die Formel WER = (S + D + I) / N. Alle Begriffe wurden bereits erläutert: Ersetzungen, Auslassungen, Einfügungen und N für die Gesamtzahl der Wörter in der Transkription.

So berechnen Sie die WER:

1. Referenztranskript erstellen: Nutzen Sie menschliche Transkription und Prüfung, um ein präzises Transkript eines Audioclips zu erstellen. 
2. STT-Tool verwenden: Transkribieren Sie den Audioclip mit einer ASR-Plattform. Das KI-Transkript dient als Testgrundlage.
3. Die zwei Versionen abgleichen: Verwenden Sie dynamische Programmierung, insbesondere den Levenshtein-Algorithmus, um die minimale Anzahl von Bearbeitungen zu ermitteln. Auf diesen Algorithmus gehen wir in einem späteren Abschnitt näher ein.
4. Formel anwenden: Zählen Sie die Gesamtzahl der Fehler in der KI-generierten Version im Vergleich zur menschlich geprüften Fassung. Verwenden Sie dann WER = (S + D + I) / N, um die exakte WER zu berechnen.

Das klingt auf dem Papier recht technisch, ist in der Praxis aber viel einfacher. Dieses Beispiel zeigt, was gemeint ist.

Referenztranskript: Mrs. Dalloway said she would buy the flowers herself.

ASR-Ausgabe: Miss Dalloway said she would buy flowers herself.

Bei der Berechnung der Gesamtfehler erhalten wir 1 S und 1 D bei insgesamt 9 Wörtern. 

Mit der Formel ergibt sich: WER = 2 / 9 = 0,222 = 22,2 %. 

Wortfehlerrate mit Python berechnen

Die manuelle Methode funktioniert gut, aber mit Python können Sie bei der WER-Berechnung Zeit sparen. Die jiwer-Bibliothek übernimmt all das vollständig automatisch.

Mithilfe der jiwer-Dokumentation können Sie das Paket installieren, das speziell zur Bewertung eines ASR-Systems und zur Ermittlung zentraler Kennzahlen wie der WER entwickelt wurde. Nach dem Download können Sie die WER mit folgendem Python-Code schnell berechnen:

from jiwer import wer

reference = "the quick brown fox jumps over the lazy dog"
asr = "the quick brown fox leaps over the last lazy dog"

print(wer(reference, asr))  # 0.222

In diesem Beispiel unterscheidet sich die ASR-Ausgabe an zwei Stellen von der ursprünglichen Referenz. Das Wort „jumps“ wurde fälschlich als „leaps“ transkribiert (eine Ersetzung), und „last“ wurde vor „lazy“ eingefügt (eine Einfügung). Bei zwei Fehlern in den neun Wörtern des Referenztranskripts ergibt sich eine Wortfehlerrate (WER) von 0,222 oder 22,2 %.

Vergleich der Wortfehlerrate mit anderen Erkennungskennzahlen

Die WER ist zwar die Standardkennzahl zur Berechnung der Genauigkeit eines ASR-Systems, doch es gibt weitere Kennzahlen. Zum Beispiel:

• Character Error Rate (CER): Ähnlich wie die WER misst sie die Transkriptionsgenauigkeit auf Zeichen- statt auf Wortebene. Sie eignet sich am besten für Sprachen ohne klare Wortgrenzen (Scriptio continua) oder für Aufgaben, bei denen die Schreibweise entscheidend ist.
• Match Error Rate (MER): Misst den Anteil an Transkriptionsfehlern, behandelt Ersetzungen, Einfügungen und Auslassungen jedoch etwas anders als die WER. Sie konzentriert sich auf den Anteil fehlerhafter Elemente in einem Satz.
• Word Information Lost (WIL): Eine Schätzung, wie viele der ursprünglichen Informationen bei der Transkription verloren gingen. Sie misst die Verständlichkeit statt wie die WER direkt die Fehleranzahl.
• Embedding Error Rate (EmbER): Bietet eine semantische Analyse zwischen den Transkripten. Sie geht über die WER hinaus und zeigt die semantische Distanz zwischen dem korrekten Wort und der fehlerhaften Transkription.

Jede dieser Kennzahlen eignet sich am besten für ein anderes Szenario. Diese Tabelle dient als Referenz:

Beispiele für Levenshtein-Distanzen: Die Mathematik hinter der WER

Die Wortfehlerrate misst im Grunde die Distanz zwischen dem Original und der Hypothesenausgabe. Um diesen Unterschied mathematisch zu erfassen, verwenden wir die Levenshtein-Distanz.

Die Levenshtein-Distanz zählt die minimale Anzahl einzelner Bearbeitungsschritte, die nötig sind, um eine Sequenz in eine andere zu überführen. Für die WER sind das konkret Ersetzungen, Einfügungen und Auslassungen. Um beispielsweise Cat in Mat zu verwandeln, müssen Sie den Buchstaben „C“ durch „M“ ersetzen. Die Levenshtein-Distanz beträgt dann 1.

Bei CER-Berechnungen kommt dies häufiger vor, doch die WER überträgt die Levenshtein-Distanz auf die Wortebene. Jede Einheit ist ein ganzes Wort statt eines Zeichens. Die tatsächliche Distanz misst, wie viele Wortbearbeitungen nötig wären, um unsere ASR-Ausgabe in das korrekte Original zu überführen. 

Wir erstellen eine Matrix, in der jede Zelle die Gesamtdistanz zwischen dem Originaltranskript und dem ASR-Transkript darstellt. Die Levenshtein-Distanz füllt die Matrix dann von oben links nach unten rechts. Die letzte Zelle liefert die Gesamtzahl der Bearbeitungen auf Wortebene. Teilen Sie diese Zahl durch N, erhalten Sie die WER. 

Diese Matrix wird üblicherweise mit einzelnen Zeichen berechnet. Der Einfachheit halber sehen Sie hier eine vergrößerte Version unseres vorherigen Beispiels. 

Häufige Fallstricke und Missverständnisse bei der Wortfehlerrate

Da STT-APIs immer zugänglicher werden und ASR-Software ein üblicher Bestandteil umfassender Agent-Stacks wird, werden wir viele Vergleiche zwischen verschiedenen Tools sehen. 

Bevor Sie eigene Wortfehlerraten berechnen, sollten Sie einige häufige Probleme und Missverständnisse kennen.

• Alle Fehler sind gleich: Die WER behandelt jeden Fehler als gleich bedeutend. Das mag in vielen Kontexten akzeptabel sein, ist aber für manche Anwendungsfälle nicht tragbar. In einem Krankenhaus kann beispielsweise eine Fehlerquote von 5 %, die als gute WER gilt, dennoch untragbar sein, da bereits ein oder zwei Fehler Patienten gefährden können. Diese Einschränkung führte zur Entwicklung neuerer Kennzahlen wie der Semantic Word Error Rate (SWER). Sie versucht zu messen, ob die Bedeutung eines Satzes erhalten blieb, statt ob jedes Wort exakt übereinstimmt. 
• Die WER kann über 100 % liegen: Obwohl wir zuvor erklärt haben, dass die WER zwischen 0 und 1 liegt, kann sie über 100 % betragen. Der Grund: Einfügungsfehler können mehr Wörter erzeugen, als das Originaltranskript enthält. Ein häufiges Beispiel ist die Transkription von „I’m“ als „I am“, wobei aus einem Wort zwei werden. 
• Eine niedrigere WER ist technisch nicht immer besser: Eine WER von 5 % ist auf dem Papier besser als eine WER von 10 %. Wenn die Fehler, die zu den 5 % beitragen, den Kontext eines Satzes jedoch deutlich verändern, während die Fehler bei 10 % dies nicht tun, bildet die Kennzahl nicht das ganze Bild ab. Der Kontext bleibt entscheidend. Kennzahlen wie SWER werden speziell entwickelt, um diese semantische Auswirkung zu erfassen.

2024 veröffentlichte Apple eine interessante Studie zum letzten genannten Punkt. Als Menschen eine WER von 9,4 % daraufhin bewerteten, ob das ASR-Ergebnis lesbar war, gaben sie derselben Passage eine WER von nur 2,2 %. Im getesteten Beispiel bewerteten Menschen die „Fehler“ in vielen Fällen als unbedeutend. Dadurch war die Human WER mehr als viermal nachsichtiger als die maschinelle Bewertung.

Branchen-Benchmarks für die WER

Die ideale WER hängt stark von der Branche oder dem Anwendungsfall ab, in dem Sie ASR-Technologie einsetzen. Weniger als 5 % gelten als Branchen-Benchmark für die WER, doch Bereiche wie medizinische oder juristische Transkription benötigen eine deutlich niedrigere Rate. 

In der Studie von Artificial Analysis vom Juli 2026 erreichte ElevenLabs Scribe v2 eine WER von 1,5 %. Wichtig ist jedoch: Diese Statistiken werden typischerweise mit Englisch als Primärsprache erhoben. STT-Technologie ist in anderen Sprachen möglicherweise weniger effektiv. 

Die ElevenLabs Docs erläutern die allgemeinen WER-Bereiche für alle Sprachen, die Scribe v1 und Scribe v2 unterstützen.

Starten Sie mit ElevenAPI und verbessern Sie die Erkennungsgenauigkeit

Wenn Sie eine Anwendung oder ein Produkt entwickeln, bei dem die Transkriptionsqualität zählt, zeigt sich der Unterschied zwischen einer gut gewählten ASR-API und einer mittelmäßigen zuerst in Ihrer WER und anschließend in der Erfahrung Ihrer Nutzer. 

ElevenLabs Scribe ist die über Speech to Text zugängliche Ebene von ElevenAPI. Neben über 90 Sprachen und einer branchenführenden WER bietet sie Funktionen wie Sprecherdiarisierung, Zeitstempel auf Wortebene, Keyterm-Prompting und Entitätserkennung.

Entdecken Sie die ElevenLabs Docs, um mehr über ElevenAPI zu erfahren, oder starten Sie noch heute mit der Registrierung. 

FAQ zur Wortfehlerrate