Bewertungsrahmen für Sprachagenten: 6 Säulen erklärt

Voice Agents müssen eine Vielzahl nahezu gleichzeitig arbeitender Tools koordinieren. Sie erfassen Kundenanmerkungen per Echtzeit-Speech to Text (STT), verarbeiten den Kontext und erstellen mit einem Large Language Model (LLM) eine Antwort. Anschließend erzeugen sie mit Text to Speech-Software (TTS) eine Audiodatei.

Wie lässt sich die Leistung von Voice Agents bei so vielen Komponenten präzise bewerten?

In diesem Artikel stellen wir ein Framework mit sechs Säulen zur Bewertung von Voice Agents vor. Es beschreibt genau, was Sie zur Beurteilung des Agentenerfolgs messen sollten. Außerdem erläutern wir, warum Branchen diese Säulen unterschiedlich gewichten und welche häufigen Bewertungsfehler Sie vermeiden sollten.

Zusammenfassung

• Die sechs zentralen Säulen zur Bewertung von Voice Agents sind TTS-Sprachqualität, Gesprächsqualität, Tool-Nutzung und Aufgabenerledigung, Intelligenz, Compliance und Sicherheit sowie Zuverlässigkeit.
• Die wichtigsten Produktionsziele sind ein MOS von 4,3, eine TSR von über 85 % und eine Zeit bis zum ersten Audio von unter 500 ms.
• Branchen gewichten die einzelnen Säulen unterschiedlich. Bei manchen Bereitstellungen ist eine Säule wichtiger als die anderen.
• Häufige Testfehler sind, nur sauberes Audio zu bewerten und P99-Latenzspitzen zu ignorieren.
• ElevenLabs führt bei den wichtigsten Kennzahlen: Scribe v2 erreicht mit 2,2 % die niedrigste WER im Markt (Artificial Analysis, Juni 2026), Flash v2.5 und Turbo v2.5 gehören zu den schnellsten Modellen (Artificial Analysis, Juni 2026) und ElevenAgents liefern eine Modellinferenzlatenz von ca. 75 ms.

Was ist ein Framework zur Bewertung von Voice Agents?

Ein Framework zur Bewertung von KI-Voice-Agents ist ein strukturiertes System, mit dem Sie die Leistung über mehrere Dimensionen hinweg testen können. Ein umfassendes Framework enthält Kennzahlen für alles von Audiotreue über Gesprächsfluss bis hin zur regulatorischen Compliance.

Anders als ein Text-Chatbot leitet ein Voice Agent jede Interaktion durch mindestens drei aufeinander aufbauende Technologien: automatische Spracherkennung (ASR), die die Worte eines Nutzers in Text umwandelt; ein LLM, das eine Antwort erstellt; und ein TTS-System, das diese Antwort wieder in Audio umwandelt. Fällt eines dieser Systeme aus, beeinträchtigt das die gesamte Erfahrung.

Diese Komplexität ist genau der Grund, warum Unternehmen Voice Agents bewerten müssen, bevor sie einen Anbieter auswählen und bereitstellen. Jede zusätzliche Latenz oder unpräzise Antwort kann reale Folgen haben – etwa Kundenabwanderung oder schlimmstenfalls regulatorische Bußgelder und Reputationsschäden.

Ein Framework zur Bewertung von Voice Agents nutzt Benchmarks und messbare Daten, um festzustellen, ob ein Agent für bestimmte Anwendungsfälle geeignet ist. Aus Unternehmenssicht können Sie durch die Bewertung verschiedener Sprachmodelle das beste Modell für Ihre Kunden auswählen.

Die sechs Säulen zur Bewertung von Voice Agents

Auch wenn das Erstellen und Bereitstellen eines KI-Agenten noch nie so einfach war, sind die Prozesse im Hintergrund recht komplex. Mehrere Komponenten arbeiten zusammen, um einem Nutzer zuzuhören, sein Anliegen zu verstehen, diese Informationen an ein LLM weiterzugeben und dann eine Audioantwort zu erzeugen. Dabei laufen viele Aktionen nahezu gleichzeitig ab.

Unternehmen, die mit dem bestmöglichen Voice Agent arbeiten möchten, benötigen ein strenges Framework zum Benchmarking.

Wenn Sie vor allem Testergebnisse sehen möchten, bietet Artificial Analysis mehrere Agentenvergleiche nach verschiedenen Komponenten. Unten sehen Sie die Ergebnisse ihres Modellgeschwindigkeitsvergleichs: ElevenLabs Turbo v2.5 und Flash v2.5 liegen bei den pro Sekunde verarbeiteten Zeichen deutlich vorn.

Für Entwickler oder Unternehmen, die eigene Experimente durchführen möchten, sind dies die sechs Säulen eines Frameworks zur Bewertung von KI-Agenten:

• TTS-Sprachqualität: Wie natürlich, klar und ausdrucksstark die synthetisierte Sprache für Endnutzer klingt. Führende Modelle wie Eleven v3 bieten menschenähnliche, emotionale Sprachausgabe in mehr als 70 Sprachen.
• Gesprächsqualität: Versteht ein Modell menschliche Sprache, erfasst es die Bedeutung und antwortet es über mehrere Gesprächszüge hinweg zeitnah und kontextbezogen?
• Tool-Nutzung: Das Ausmaß, in dem ein KI-Agent Aufgaben mithilfe verfügbarer Ressourcen ohne menschliches Eingreifen erledigt.
• Intelligenz: Wie gut ein Modell schlussfolgert, neue Eingaben verarbeitet und ungenaue oder halluzinierte Antworten vermeidet.
• Compliance und Sicherheit: Neben allen Fähigkeiten müssen KI-Voice-Agents sämtliche regulatorischen und Compliance-Anforderungen erfüllen, einschließlich aktiver Guardrails.
• Zuverlässigkeit: Komponenten wie Gesamtverfügbarkeit und konsistente Leistung unter Last zeigen, ob ein Conversational-AI-Agent mit der Nachfrage skalieren kann.

Diese Säulen sind zwar unabhängig, greifen aber ineinander, um Nutzern eine hochwertige Gesamterfahrung zu bieten. Verbessert ein Modell beispielsweise die Sprachqualität, hat aber weiterhin eine hohe Latenz, erleben Kunden unangenehme Wartezeiten, bevor das Modell Sprache ausgibt.

Sehen wir uns diese Säulen zur Bewertung von Voice-KI genauer an.

TTS-Sprachqualität

Wir beginnen mit der Sprachqualität, denn sie fällt Menschen bei der Interaktion mit einem Conversational-KI-Agenten wahrscheinlich zuerst auf. Klingt dieser roboterhaft oder unheimlich, ist die subjektive Erfahrung deutlich schlechter.

Eine der ursprünglichen Bewertungskennzahlen, definiert vom Telecommunication Standardization Sector der International Telecommunication Union (ITU-T), ist der Mean Opinion Score (MOS). MOS arbeitet auf einer Skala von 1 bis 5, wobei 1 unbrauchbar und 5 ausgezeichnet bedeutet. Als subjektive Messung nutzt er menschliche Zuhörer und sammelt nach einem Anruf deren Feedback.

Alles unter MOS 3,5 ist auf dieser Skala wenig überzeugend, besonders nach heutigen Maßstäben, und wird die Kundenzufriedenheit wahrscheinlich beeinträchtigen.

MOS ist eine menschenzentrierte Kennzahl, doch mehrere technische Anforderungen fließen in diesen Wert ein:

• Tonhöhenkonsistenz und Jitter: Tonhöhe und Jitter sind zwei sprachliche Elemente, die Menschen beim Zuhören intuitiv wahrnehmen. „Tonhöhe“ bezeichnet die wechselnde Intonation beim Sprechen, etwa wenn Sie bei einer Frage natürlich die Stimme heben. Jitter entsteht, wenn das Verständnis eines Sprachmodells von Tonhöhe schwankt und es dadurch keine kohärente Prosodie über einen Satz hinweg halten kann. Der Branchenrichtwert für Jitter beträgt 30 ms.
• Emotionaler Ausdruck: Selbst eine klare und präzise Stimme klingt falsch, wenn ihr Ton nicht zum beabsichtigten emotionalen Register eines Satzes passt. Ohne genaue tonale Hinweise bauen menschliche Zuhörer weniger Bindung zu Conversational-KI-Agenten auf und bewerten sie schlechter. ElevenAgents bietet nahezu menschenähnlichen Ausdruck und verleiht jeder Antwort eine klare emotionale Intention.
• Hintergrundgeräusche: Hintergrundgeräusche bei Voice Agents haben zwei getrennte, bewertungsrelevante Dimensionen. Auf der Ausgabeseite werden Antworten dezente Umgebungsgeräusche hinzugefügt, damit Agents natürlicher klingen. Auf der Eingabeseite ist die Filterung von Hintergrundgeräuschen in der STT-Schicht eine optionale Einstellung, die die Genauigkeit verbessert. Testen Sie bei der Bewertung eines Agents beides: Prüfen Sie, ob Umgebungsgeräusche natürlich wirken, und bewerten Sie die STT-Genauigkeit mit aktivem und deaktiviertem Rauschfilter.

Bei der Berechnung des MOS sollten Sie 4,3 bis 4,5 anstreben. Das zeigt hohe Werte in all diesen Wahrnehmungskategorien. Für MOS-Prognosen im großen Maßstab ohne menschliche Panels können Sie Tools wie UTMOS und NISQA verwenden.

Gesprächsqualität

Die Gesprächsqualität ist eine zusammengesetzte Säule zwischen Sprachqualität und Aufgabenerledigung. Sie misst, wie effektiv ein Voice Agent die Bedürfnisse eines Nutzers versteht, ihn kontextbezogen unterbricht und die Unterhaltung über mehrere Gesprächszüge bis zum Abschluss führt.

Die primäre Kennzahl ist hier die Genauigkeit der Intent-Klassifizierung. Typische Werte liegen zwischen 85 % und 92 %, Spitzenmodelle erreichen über 96 %. 85 % mögen hoch erscheinen, bedeuten jedoch immer noch, dass 15 % aller eingehenden Anfragen falsch kategorisiert und an die falschen Ressourcen weitergeleitet werden.

Zu den technischen Faktoren für eine hohe Intent-Klassifizierungsgenauigkeit gehören:

• Sprecherwechsel: Der Sprecherwechsel bestimmt, wie gut ein Voice Agent den natürlichen Gesprächsfluss steuert. Dabei wird bewertet, ob er weiß, wann er zuhören, antworten oder auf weitere Eingaben warten sollte. Dazu gehört auch der Umgang mit Unterbrechungen: Ein Modell verwirft eine gerade entstehende Antwort und erzeugt auf Basis der neuen Eingabe eine neue. ElevenLabs verwendet einen Multi-Context-WebSocket , um diese Unterbrechungen nahtlos zu verarbeiten.
• Latenz: Latenz bezeichnet die End-to-End-Verzögerung zwischen dem Ende eines Nutzersatzes und dem Beginn der Audioantwort des Agents. Produktionsreife Voice Agents sollten eine Zeit bis zum ersten Audio von unter 500 ms anstreben; unter 300 ms ist besser. ElevenLabs Flash-Modelle bieten eine branchenführende Modellinferenzzeit von ca. 75 ms und schaffen damit eine gute Grundlage für diese Kategorie.
• Fallback-Rate: Die Fallback-Rate misst, wie oft ein KI-Agent einen Nutzer nicht versteht und um Klarstellung oder Wiederholung bittet. Sie ist größtenteils eine Folge der STT-Genauigkeit: Versteht die Spracherkennungsschicht die Aussage eines Kunden falsch oder stellt sie falsch dar, erhält das LLM fehlerhafte Eingaben. Die Fallback-Rate wird nach folgender Formel berechnet: Fallback-Rate (%) = (Anzahl der Fallbacks / Gesamtzahl der Interaktionen) * 100.

ElevenLabs Scribe V2 erreicht mit 2,2 % die niedrigste WER in der Speech-to-Text-Modellevaluierung von Artificial Analysis

Bewertung von Speech-to-Text-Modellen durch Artificial Analysis

Eine Möglichkeit zur Messung der Gesprächsqualität ist der Blick auf Branchen-Benchmarks für verschiedene Komponenten. Wie Sie sehen, hat ElevenLabs Scribe v2 mit 2,2 % die niedrigste Word Error Rate im Juni 2026. Das bedeutet weniger Fehlverständnisse, weniger Fallbacks und eine genauere Intent-Klassifizierung.

Unternehmen stellen möglicherweise fest, dass die Gesprächsqualität auch vom Workflow abhängt, in dem ein Voice Agent eingesetzt wird. Im Kundenservice wären beispielsweise die Qualität der Übergabe bei Eskalationen oder die Lösung von FAQs weitere wichtige Aspekte.

Tool-Nutzung und Aufgabenerledigung

Qualität misst, wie sich ein Gespräch anfühlt. Aufgabenerledigung misst, ob es zu einem erfolgreichen Ergebnis geführt hat. Unternehmen sollten diesem Teil des Frameworks zur Bewertung von Voice Agents besondere Aufmerksamkeit schenken, da er direkt mit Geschäftsergebnissen verbunden ist.

Eine Kennzahl für die Tool-Nutzung ist die Genauigkeit beim Ausfüllen von Slots. Sie bestimmt, wie gut KI-Agenten relativ routinemäßige Aufgaben erledigen können, etwa ein Formular mit Kundeninformationen auszufüllen. Eine hohe Slot-Fill-Genauigkeit zeigt, dass der Agent nahtlos vom Gespräch zur Handlung übergehen kann, ohne Informationen zu verlieren.

Die Task Success Rate (TSR) ist eine prozentuale Kennzahl für vollständig erledigte End-to-End-Aufgaben eines Agents. Als erledigt gilt eine Aufgabe, wenn der Agent eine Anfrage versteht und anschließend die richtigen angebundenen Tools zur Unterstützung nutzt – APIs, Datenbanken, Retrieval-Augmented Generation (RAG) und interne Wissensdatenbanken.

Die Formel für die TSR lautet:

TSR = (vollständig erledigte Aufgaben / insgesamt versuchte Aufgaben) x 100

Produktionsreife Voice Agents sollten eine TSR von über 85 % anstreben. Überwachen Sie dabei die Genauigkeit und Zuverlässigkeit von Tool-Aufrufen. Um Rückgänge Ihrer TSR zu vermeiden, führen Sie bei jeder Änderung an Prompts oder angebundenen Modellen Regressionstests durch. Schon eine kleine Abweichung kann erhebliche Folgen für Ihre TSR haben.

Intelligenz

Intelligenz erfasst die Schlussfolgerungsfähigkeit und übergeordneten Fähigkeiten eines Voice Agents. Diese Säule zeigt klar den Unterschied zwischen einem sprachgesteuerten IVR-System (Interactive Voice Response) und einem KI-Voice-Agent.

Zu den hier zu bewertenden Kerndimensionen gehören:

• Halluzinationsrisiko: Halluzinationen, bei denen ein Agent Informationen ausgibt, die ungenau sind oder Unternehmensdokumenten widersprechen, sind bei Voice-KI besonders schädlich, da sie überzeugend vorgetragen werden können. Aktuelle Studien deuten darauf hin, dass häufige Halluzinationen die Kundenzufriedenheit mit Voice Agents erheblich beeinträchtigen.
• Umgang mit Anfragen außerhalb des Bereichs: Intelligente Agents erkennen, wenn eine Frage außerhalb ihres Kontextbereichs liegt, und können angemessen reagieren. Statt eine Antwort zu halluzinieren, lehnen sie ab oder lenken das Gespräch zurück in einen kontextuell definierten Bereich.
• Kontextspeicherung: Kann ein Agent über mehrere Gesprächszüge hinweg Entitäten und zuvor eingegangene Zusagen nachverfolgen? Ohne diese Fähigkeit müssen Kunden sich möglicherweise wiederholen oder erhalten widersprüchliche Antworten.
• Schlussfolgern und mehrstufige Logik: Kann der Agent bedingte Logik korrekt verarbeiten oder Schlussfolgerungen über mehrere Gesprächszüge hinweg verknüpfen? Besonders bei technischeren Anwendungsfällen wie Finanzdienstleistungen ist die Fähigkeit, innerhalb eines vordefinierten Kontexts zu schlussfolgern, entscheidend.

Für diese Dimensionen und Komponenten gibt es mehrere Benchmarks von Drittanbietern. Beispielsweise bewertet Stanfords Benchmark Holistic Evaluation of Language Models (HELM) die Leistung von LLMs in verschiedenen Kategorien. Für Halluzinationen bietet TruthfulQA eine solide Analyse dazu, wie häufig falsche Antworten in die Ausgaben gelangen.

Ein Vorteil von ElevenAgents ist, dass Sie die LLM-Schicht vollständig austauschen können – anders als bei einigen Sprachplattformen, die Sie an ein einzelnes zugrunde liegendes Modell binden. In der Praxis bedeutet das: Sie können das Modell einsetzen, das bei den Reasoning-Benchmarks für Ihren spezifischen Anwendungsfall führend ist.

Compliance und Sicherheit

Unternehmen müssen aktive Guardrails implementieren, um schädliche oder richtlinienwidrige Ausgaben zu verhindern. Anders als Prompt-Anweisungen auf Systemebene, die umgangen oder überschrieben werden können, laufen unabhängige Guardrail-Prüfungen als separate Schicht außerhalb des Modells. Sie bewerten Ausgaben, bevor sie den Nutzer erreichen, und stoppen das Gespräch, wenn es in einen gefährlichen Bereich abdriftet.

Prüfbarkeit ist eine damit verbundene Anforderung. Produktions-Agents müssen detaillierte Protokolle über Entscheidungen und Ausgaben in einem Format führen, das eine nachträgliche Prüfung ermöglicht. Besonders in stark regulierten Branchen ist der nachträgliche Nachweis von Compliance ebenso wichtig wie deren ursprüngliche Einhaltung.

Welche Vorschriften Ihr Unternehmen erfüllen muss, hängt von der Branche ab. Zu den am häufigsten relevanten Rahmenwerken gehören:

• HIPAA: Für geschützte Gesundheitsdaten im US-Gesundheitswesen.
• PCI-DSS: Für alle Agents, die Zahlungskartendaten verarbeiten.
• DSGVO: Datenschutzpflichten für die EU und Unternehmen mit Kunden in der EU.

Für Unternehmen, die ihre Compliance-Position bewerten, verfügt ElevenLabs über AICPA SOC Type II- und DSGVO-Compliance sowie die AIUC-1-Zertifizierung. Der Standard AIUC-1 wurde speziell für KI-Agenten entwickelt.

Zuverlässigkeit

Zuverlässigkeit ist die letzte Säule unseres Frameworks zur Bewertung von Voice Agents. Sie umfasst, ob ein Agent dauerhaft in Echtzeit liefern kann.

Achten Sie bei der Bewertung eines Voice Agents auf folgende Eigenschaften:

• Verfügbarkeit: Jede kundenorientierte Bereitstellung erwartet 99,9 % Verfügbarkeit, um Ausfälle zu vermeiden. Gerade bei Always-on-Anwendungsfällen wie eingehendem Support ist eine zuverlässige Verfügbarkeit ein wichtiger Faktor.
• Kontrollierter Abbau: Aufgrund der zugrunde liegenden Komplexität von Voice Agents sollte ein Agent den Ausfall einer Komponente kontrolliert behandeln. In der Praxis bedeutet das, an einen Menschen weiterzuleiten, statt unter höherer Belastung oder mit Fehlerausgaben weiterzuarbeiten.
• Leistung unter Last:Lasttests sollten vor dem Go-live mindestens die doppelte erwartete Spitzenparallelität simulieren. Tests unter hoher Belastung können Latenzanstiege oder Leistungseinbußen aufdecken, die nur im großen Maßstab auftreten.

Selbst ein hochwertiges Modell, das alle anderen Anforderungen erfüllt, kann unbrauchbar sein, wenn es nicht mit Ihrer Kundennachfrage skaliert. ElevenAgents wird von 1.000.000 führenden Kreativen und Unternehmen genutzt. Das zeigt, dass die Plattform Bereitstellungen im Unternehmensmaßstab ermöglicht, ohne Leistungs-Benchmarks zu beeinträchtigen.

MOS für Voice Agents messen: Schritt für Schritt

Wenn Ihr Unternehmen MOS manuell messen möchte, benötigen Sie eine große Gruppe menschlicher Zuhörer und eine Auswahl an Audioclips aus echten Gesprächen. Der strukturierte Prozess umfasst das Sammeln von Feedback, die Mittelwertbildung und die anschließende Interpretation der Daten.

So messen Sie MOS für Voice Agents in der Praxis:

1. Testset vorbereiten: Wählen Sie eine repräsentative Stichprobe von Audioausgaben Ihres Agents aus, mit mindestens 100 Clips aus unterschiedlichen Gesprächen.
2. Bewertungssitzung durchführen: Bitten Sie menschliche Zuhörer, jeden Clip auf einer Skala von 1 bis 5 nach der Qualität der Kommunikationserfahrung zu bewerten.
3. Bewertungen zusammenführen und Scores berechnen: Bilden Sie zunächst den Durchschnitt der Bewertungen für jeden Clip und danach über alle Beispielclips, um einen Gesamt-MOS zu erhalten. Ein MOS von 4,3 oder höher zeigt, dass Ihr Voice Agent bereit für die Produktion ist.

Dieser Prozess ist zwar manuell aufwendig, liefert Ihnen aber einen belastbaren MOS für den gewählten Voice Agent. Wenn Sie den Test im großen Maßstab durchführen möchten, können Sie menschliche Zuhörer durch automatisierte Tools wie NISQA ersetzen, die MOS-Scores programmatisch vorhersagen. Diese Systeme lassen sich in Ihre aktiven Pipelines integrieren, um MOS fortlaufend zu überwachen.

Benchmarks für KI- und menschliche Tests: FCR, AHT und CSAT

Die wiederholte MOS-Berechnung im Zeitverlauf zeigt Modellverbesserungen oder Regressionen. Zusätzlichen Kontext erhalten Sie durch den Vergleich mit menschlicher Leistung. Was Menschen in ähnlichen Rollen tatsächlich erreichen, zeigt, ob Ihr Voice Agent nahe an einem idealen Niveau arbeitet.

Diese Kennzahlen sollten Sie für Benchmarks zwischen KI und Menschen berücksichtigen.

KI-Agenten sollten mit menschlichen Agents bei FCR und CSAT mithalten und gleichzeitig die AHT deutlich verbessern. Das liegt daran, dass KI-Agenten typischerweise allgemeinere Gespräche bearbeiten als menschliche Agents. Viele Unternehmen setzen einen Workflow ein, bei dem KI-Agenten zuerst antworten und Anrufe erst dann an menschliche Agents weiterleiten, wenn diese für eine autonome Bearbeitung zu komplex sind.

Daten des KI-Vergleichsaggregators Poe aus dem Jahr 2025 zeigen, dass ElevenLabs die stärkste Gesamtfähigkeit zur Erfüllung von Anfragen beibehielt und 74,4 % aller eingehenden Anfragen abschloss. Dieser Erfolg führte zu schnell wachsender Nutzung: Eleven v3 und v2.5-Turbo machten im Zeitverlauf mehr als 60 % der an KI-Modelle gesendeten Nachrichten aus.

Im Zeitverlauf an KI-Modelle gesendete Nachrichten: ElevenLabs führt im Poe-Framework zur Bewertung von Voice Agents

Im Zeitverlauf an KI-Modelle gesendete Nachrichten, gemäß dem Benchmark von Poe

Häufige Fehler beim Testen von Voice Agents

Wenn Sie einem Framework zur Bewertung von Voice Agents folgen, liegt es nahe, Best-Case-Szenarien zu testen. Die Alltagserfahrung von Kunden mit Ihren Voice-KI-Systemen entsteht jedoch nicht unter idealen Bedingungen.

Hier sind drei häufige Fehler beim Testen von Voice Agents und wie Sie sie beheben:

• Nur den einfachsten Weg testen: Nehmen Sie besonders bei der Auswahl von Audioclips für MOS auch Grenzfälle auf. Clips mit Hintergrundgeräuschen oder akzentuierter Sprache sind im Alltag sehr häufig. Tests nur mit „sauberen“ Audiodateien führen daher zu einem falsch kalibrierten MOS.
• Containment vor Lösung priorisieren: Wenn Sie Ihre Modelle darauf optimieren, Nutzer im Agentensystem zu halten, steigen die Containment-Raten, ohne dass sich die Ergebnisse verbessern. Ist Ihre FCR trotz hoher Containment-Rate niedrig, führt der Agent Nutzer durch eine frustrierende Schleife. Ermöglichen Sie Nutzern, bei Bedarf mit menschlichen Agents zu sprechen.
• Latenzperzentile ignorieren: SLAs definieren Latenz oft auf P95-Niveau. Diese Kennzahl ist wichtig, um der Mehrheit Ihrer Kunden eine konsistente Erfahrung zu bieten. Vergessen Sie jedoch nicht, dass auch die letzten 5 % echte Kunden sind. Bei einem System mit 10.000 täglichen Anrufen erleben immer noch 500 Personen ein langsames Gespräch. Setzen Sie P99 als zentrales SLA-Ziel, nicht nur Median oder P95.

Wenn Sie dies berücksichtigen, können Sie faire und repräsentative Baselines festlegen, statt mit idealisierten Durchschnittswerten zu arbeiten.

Warum anwendungsfallspezifische Bewertungen wichtig sind

Die sechs in diesem Framework beschriebenen Säulen zeigen, welche Bereiche Sie untersuchen sollten. Ihre Gewichtung hängt jedoch von Ihrer Branche ab. Ein Unternehmen im Finanzdienstleistungssektor kann etwa Compliance und Tool-Nutzung priorisieren, während für eine Verbrauchermarke die TTS-Sprachqualität maßgeblich ist.

Hier sind zwei Beispiele für anwendungsfallspezifische Bewertungen und dafür, wie sie das Gleichgewicht der einzelnen Säulen verschieben können.

Kundensupport

In bestimmten Branchen, etwa in Callcentern, sind weitere Kennzahlen zur Aufgabenerledigung wie die Lösung beim Erstkontakt (FCR) ein wichtiger Faktor. Eingehende Anrufe ohne menschliches Eingreifen erfolgreich zu bearbeiten, reduziert die Nachfrage nach menschlichen Kundenservice-Agents erheblich. McKinsey schätzt, dass Callcenter mit Voice Agents das Interaktionsvolumen um bis zu 50 % senken können.

Eine weitere, wenn auch weniger wichtige Dimension als die Task Success Rate, ist die Containment-Rate. Die Containment-Rate misst die Gesamtdauer eines Anrufs. Ist Ihre Containment-Rate sehr hoch, aber Ihre FCR niedrig, halten Ihre Agents Menschen in der Leitung, ohne dem Kunden eine Lösung zu bieten. In der Praxis kann das für Kunden eine frustrierende Erfahrung sein, bei der sie sich im Kreis drehen.

Eine weitere Kennzahl ist die AHT, wobei KI-Agenten Routineprobleme schnell lösen sollen. Daher würde der Kundensupport Gesprächsqualität – insbesondere Sprecherwechsel und Fallback-Rate – gegenüber anderen Bereichen priorisieren.

Gesundheitswesen

Gesundheitswesen ist ein stark regulierter Bereich. Strenge Compliance-Anforderungen machen den Betrieb von Voice Agents besonders anspruchsvoll. Compliance ist ein zentrales Anliegen und gewichtet die Sicherheitssäule dieses Frameworks sowie Intelligenz deutlich stärker als alle anderen Bereiche.

Chatbots im Gesundheitswesen müssen Terminvereinbarungen, Zugangswege zur Telemedizin, Symptom-Triage und Versicherungsfragen abwickeln. All das erfordert ein hohes Maß an Intelligenz und Tool-Nutzung. Es zeigt erneut, dass branchen- oder rollenspezifische Anforderungen bestimmen, welche Säulen am wichtigsten sind.

Unabhängig von der Branche Ihres Unternehmens hilft Ihnen ein Verständnis der zentralen Säulen zur Bewertung von Voice Agents und ihre ausgewogene Anwendung dabei, die besten Agents für Sie zu finden.

Mit ElevenAgents für hohe Leistung und geringe Latenz entwickeln

Die Plattform, auf der Sie entwickeln, beeinflusst direkt, wie Ihre Voice Agents in realen Workflows arbeiten. Besonders im Kontakt mit Ihren Kunden müssen Sie sicher sein, dass Ihr Agent in jeder Kategorie überzeugt.

ElevenAgents wurde für Voice-Bereitstellungen in der Produktion entwickelt und kombiniert branchenführendes TTS über Eleven v3, Echtzeit-STT über Scribe v2 sowie eine Agenten-Orchestrierungsschicht für den Unternehmensmaßstab. Jede Komponente ist darauf ausgelegt, die in diesem Framework definierten Benchmarks zu erfüllen. So können Sie Ihren Kunden hochwertige Erfahrungen bieten.

Ob Sie noch Optionen abwägen oder bereit sind, mit der Entwicklung zu beginnen: ElevenLabs bietet Ihnen den passenden Weg. Entdecken Sie die ElevenAgents-Plattform, um zu sehen, wie sie zu Ihrem Anwendungsfall passt, oder registrieren Sie sich und beginnen Sie noch heute mit der Entwicklung.

Häufige Fragen zur Bewertung von Voice Agents