Bewertungsrahmen für Sprachagenten: 6 Säulen erklärt

Voice Agents müssen eine Vielzahl nahezu gleichzeitig eingesetzter Tools orchestrieren. Es ist ein fein abgestimmtes Zusammenspiel aus dem Erfassen von Kundenanmerkungen mit Echtzeit-Speech to Text (STT), dem Einbeziehen des Kontexts und Erstellen einer Antwort mit einem Large Language Model (LLM) und der anschließenden Generierung einer Audiodatei mit Text to Speech (TTS).

Wie bewerten Sie bei so vielen beweglichen Teilen die Leistung eines Voice Agents präzise? 

In diesem Artikel stellen wir ein Framework mit sechs Säulen zur Bewertung von Voice Agents vor. Es zeigt genau, was Sie für den Erfolg eines Agents messen sollten. Außerdem erläutern wir, warum Branchen diese Säulen unterschiedlich gewichten und welche typischen Bewertungsfehler Sie vermeiden sollten. 

Zusammenfassung

• Die sechs wichtigsten Säulen zur Bewertung von Voice Agents sind TTS-Sprachqualität, Gesprächsqualität, Tool-Nutzung und Aufgabenerledigung, Intelligenz, Compliance und Sicherheit sowie Zuverlässigkeit.
• Die wichtigsten Produktionsziele sind ein MOS von 4,3, ein TSR von über 85 % und eine Time-to-First-Audio von unter 500 ms.
• Verschiedene Branchen gewichten die einzelnen Säulen unterschiedlich; bei bestimmten Deployments ist eine wichtiger als die anderen.
• Typische Testfehler sind, nur sauberes Audio zu bewerten und P99-Latenzspitzen zu ignorieren.
• ElevenLabs führt bei den wichtigsten Kennzahlen: Scribe v2 erreicht mit 2,2 % die niedrigste WER im Markt (Artificial Analysis, Juni 2026), Flash v2.5 und Turbo v2.5 gehören bei der Geschwindigkeit zu den besten Modellen (Artificial Analysis, Juni 2026) und ElevenAgents bieten eine Modellinferenzlatenz von ca. 75 ms.

Was ist ein Framework zur Bewertung von Voice Agents?

Ein Framework zur Bewertung von KI-Voice-Agents ist ein strukturiertes System, mit dem Sie Leistung über mehrere Dimensionen hinweg testen können. Ein umfassendes Framework enthält Metriken für alles von Audiotreue und Gesprächsverlauf bis hin zu regulatorischer Compliance. 

Im Gegensatz zu einem Text-Chatbot leitet ein Voice Agent jede Interaktion durch mindestens drei aufeinander aufbauende Technologien: automatische Spracherkennung (ASR), die die Worte eines Nutzers in Text umwandelt; ein LLM, das eine Antwort erstellt; und ein TTS-System, das diese Antwort wieder in Audio umwandelt. Fällt eines dieser Systeme aus, beeinträchtigt das die gesamte Erfahrung. 

Diese Komplexität ist genau der Grund, warum Unternehmen Voice Agents bewerten müssen, bevor sie einen Anbieter auswählen und deployen. Jede zusätzliche Latenz oder unpräzise Antwort kann reale Folgen haben, etwa Kundenabwanderung oder schlimmstenfalls regulatorische Bußgelder und Reputationsschäden.

Ein Framework zur Bewertung von Voice Agents nutzt Benchmarks und messbare Daten, um festzulegen, ob ein Agent für bestimmte Anwendungsfälle geeignet ist. Aus geschäftlicher Sicht können Sie durch die Bewertung verschiedener Sprachmodelle das beste Modell für Ihre Kunden auswählen. 

Die sechs Säulen zur Bewertung von Voice Agents

Auch wenn das Erstellen und Deployen eines KI-Agents noch nie so einfach war, sind die aktiven Prozesse im Hintergrund recht komplex. Mehrere Komponenten arbeiten zusammen, um einem Nutzer zuzuhören, seine Absicht zu verstehen, diese Informationen an ein LLM weiterzugeben und dann eine Audioantwort zu erzeugen. Dabei passieren viele Aktionen nahezu gleichzeitig.

Um mit dem bestmöglichen Voice Agent zusammenzuarbeiten, brauchen Unternehmen ein strenges Framework als Benchmark.

Wenn Sie eher an Testergebnissen interessiert sind, bietet Artificial Analysis mehrere Agent-Vergleiche auf Basis verschiedener Komponenten. Unten sehen Sie die Ergebnisse ihres direkten Geschwindigkeitsvergleichs von Modellen, bei dem ElevenLabs Turbo v2.5 und Flash v2.5 bei den pro Sekunde verarbeiteten Zeichen mit deutlichem Abstand führen.

Für Entwickler und Unternehmen, die eigene Experimente durchführen möchten, sind hier die sechs Säulen eines Bewertungsframeworks für KI-Agents:

• TTS-Sprachqualität: Wie natürlich, klar und ausdrucksstark die synthetisierte Sprache für Endnutzer klingt. Spitzenmodelle wie Eleven v3 liefern menschenähnliche, emotionale Sprache in über 70 Sprachen.
• Gesprächsqualität: Versteht ein Modell menschliche Sprache, erfasst es die Bedeutung und antwortet es über mehrere Gesprächsrunden hinweg schnell und kontextbezogen? 
• Tool-Nutzung: In welchem Umfang ein KI-Agent Aufgaben mithilfe verfügbarer Ressourcen ohne menschliches Eingreifen erledigt.
• Intelligenz: Wie gut ein Modell schlussfolgert, neue Eingaben verarbeitet und ungenaue oder halluzinierte Antworten vermeidet.
• Compliance und Sicherheit: Neben allen Fähigkeiten müssen KI-Voice-Agents alle regulatorischen und Compliance-Anforderungen erfüllen, einschließlich aktiver Guardrails.
• Zuverlässigkeit: Komponenten wie Gesamtverfügbarkeit und gleichbleibende Leistung unter Last zeigen, ob ein Conversational-AI-Agent mit der Nachfrage skalieren kann.

Jede dieser Säulen ist zwar eigenständig, doch sie greifen ineinander und schaffen eine hochwertige Nutzererfahrung. Verbessert ein Modell beispielsweise seine Sprachqualität, hat aber weiterhin hohe Latenz, erleben Kunden unangenehme Wartezeiten, bevor das Modell Sprache ausgibt.

Sehen wir uns diese Säulen zur Bewertung von Voice AI genauer an. 

TTS-Sprachqualität

Wir beginnen mit der Sprachqualität, denn sie ist wahrscheinlich das Erste, was Menschen bei der Interaktion mit einem Conversational-KI-Agent wahrnehmen. Klingt er robotisch oder unheimlich, ist die subjektive Erfahrung deutlich schlechter.

Eine der ursprünglichen Bewertungsmetriken, definiert vom Telecommunication Standardization Sector der International Telecommunication Union (ITU-T), ist der Mean Opinion Score (MOS). MOS nutzt eine Skala von 1 bis 5, wobei 1 unbrauchbar und 5 ausgezeichnet ist. Als subjektive Messung basiert er auf menschlichen Zuhörern und deren Feedback nach einem Anruf. 

Alles unter MOS 3,5 auf dieser Skala ist eher schwach, besonders nach heutigen Maßstäben, und beeinträchtigt wahrscheinlich die Kundenzufriedenheit. 

MOS ist zwar eine menschenzentrierte Metrik, wird aber von mehreren technischen Anforderungen beeinflusst:

• Konsistenz der Tonhöhe und Jitter: Tonhöhe und Jitter sind zwei sprachliche Elemente, die Menschen beim Zuhören intuitiv wahrnehmen. „Tonhöhe“ bezeichnet die wechselnde Intonation beim Sprechen, etwa wenn Sie bei einer Frage die Stimme heben. Jitter entsteht, wenn das Verständnis eines Sprachmodells für die Tonhöhe schwankt und es keine kohärente Prosodie über einen Satz hinweg beibehalten kann. Der Branchenrichtwert für Jitter liegt bei 30 ms. 
• Emotionaler Ausdruck: Eine klare und präzise Stimme klingt dennoch falsch, wenn ihr Ton nicht dem beabsichtigten emotionalen Register eines Satzes entspricht. Ohne präzise tonale Hinweise bauen menschliche Zuhörer weniger Bindung zu Conversational-KI-Agents auf und bewerten sie schlechter. ElevenAgents bietet nahezu menschenähnlichen Ausdruck und verleiht jeder Antwort eine klare emotionale Intention.
• Hintergrundgeräusche: Hintergrundgeräusche bei Voice Agents haben zwei getrennte Dimensionen, die es zu bewerten gilt. Auf der Ausgabeseite werden Umgebungsgeräusche dezent zu Antworten hinzugefügt, damit Agents natürlicher klingen. Auf der Eingabeseite ist die Filterung von Hintergrundgeräuschen in der STT-Schicht eine optionale Einstellung, die die Genauigkeit erhöht. Testen Sie bei der Bewertung eines Agents beides: Hören Sie, ob Umgebungsgeräusche natürlich klingen, und bewerten Sie die STT-Genauigkeit mit ein- und ausgeschaltetem Rauschfilter.

Beim Berechnen des MOS sollten Sie 4,3–4,5 anstreben, was hohe Werte in all diesen Wahrnehmungskategorien zeigt. Für MOS-Prognosen im großen Maßstab ohne menschliche Testgruppen können Sie Tools wie UTMOS und NISQA verwenden.

Gesprächsqualität

Gesprächsqualität ist eine zusammengesetzte Säule zwischen Sprachqualität und Aufgabenerledigung. Sie misst, wie effektiv ein Voice Agent die Bedürfnisse eines Nutzers versteht, ihn kontextbezogen unterbricht und dies über einen Dialog mit mehreren Gesprächsrunden bis zum Abschluss fortführt.

Die wichtigste Metrik ist hier die Genauigkeit der Intent-Klassifizierung. Typische Werte liegen zwischen 85 % und 92 %, Spitzenreiter erreichen über 96 %. 85 % mögen hoch erscheinen, doch das bedeutet immer noch, dass 15 % aller eingehenden Anfragen falsch kategorisiert und an die falschen Ressourcen weitergeleitet werden. 

Zu den technischen Faktoren für eine hohe Genauigkeit der Intent-Klassifizierung gehören:

• Sprecherwechsel: Sprecherwechsel bestimmt, wie gut ein Voice Agent den natürlichen Gesprächsfluss steuert. Bewertet wird, ob er weiß, wann er zuhören, antworten oder auf weitere Eingaben warten soll. Dazu gehört auch der Umgang mit Unterbrechungen, bei denen ein Modell eine gerade erstellte Antwort verwirft und auf Grundlage der neuen Eingabe eine neue generiert. ElevenLabs nutzt einen Multi-Context-WebSocket, um diese nahtlosen Unterbrechungen zu verarbeiten.
• Latenz: Latenz beschreibt die Ende-zu-Ende-Verzögerung zwischen dem Ende eines Satzes durch den Nutzer und dem Beginn der Audioantwort des Agents. Produktionsreife Voice Agents sollten eine Time-to-First-Audio von unter 500 ms anstreben; unter 300 ms ist noch besser. ElevenLabs Flash-Modelle bieten eine branchenführende Modellinferenzzeit von ca. 75 ms und schaffen damit die Grundlage für Erfolg in dieser Kategorie.
• Fallback-Rate: Die Fallback-Rate misst, wie oft ein KI-Agent einen Nutzer nicht versteht und um Klarstellung oder Wiederholung bittet. Sie ist weitgehend eine Folge der STT-Genauigkeit: Wenn die Spracherkennung falsch hört oder das Gesagte eines Kunden falsch darstellt, erhält das LLM fehlerhafte Eingaben. Die Fallback-Rate wird nach folgender Formel berechnet: Fallback-Rate (%) = (Anzahl der Fallbacks / Gesamtzahl der Interaktionen) * 100.

ElevenLabs Scribe V2 hat mit 2,2 % die niedrigste WER in der Speech-to-Text-Modellbewertung von Artificial Analysis

Bewertung von Speech-to-Text-Modellen durch Artificial Analysis

Eine Möglichkeit, die Gesprächsqualität zu messen, ist der Blick auf Branchenbenchmarks für verschiedene Komponenten. Wie Sie sehen, hat ElevenLabs’ Scribe v2 mit 2,2 % die niedrigste Word Error Rate (WER) im Juni 2026. Das bedeutet weniger falsch verstandene Aussagen, weniger Fallbacks und eine genauere Intent-Klassifizierung.

Unternehmen stellen möglicherweise fest, dass die Gesprächsqualität auch vom Workflow abhängt, in dem ein Voice Agent arbeitet. Im Kundenservice sind beispielsweise die Qualität der Eskalationsübergabe oder die Lösung von FAQs weitere Faktoren.

Tool-Nutzung und Aufgabenerledigung

Während Qualität misst, wie sich ein Gespräch anfühlte, misst Aufgabenerledigung, ob es zu einem erfolgreichen Ergebnis führte. Unternehmen sollten diesem Teil des Bewertungsframeworks für Voice Agents besondere Aufmerksamkeit schenken, da er direkt mit Geschäftsergebnissen verbunden ist.

Ein Maß für die Tool-Nutzung ist die Genauigkeit beim Ausfüllen von Slots. Sie bestimmt, wie gut KI-Agents routinemäßige Aufgaben erledigen können, etwa ein Formular mit Kundeninformationen ausfüllen. Eine hohe Slot-Fill-Genauigkeit zeigt, dass der Agent nahtlos vom Gespräch zur Aktion übergehen kann, ohne dabei Informationen zu verlieren.

Die Task Success Rate (TSR) ist eine prozentuale Messung, welche Ende-zu-Ende-Aufgaben ein Agent erfolgreich erledigt hat. Der Abschluss hängt davon ab, ob ein Agent eine Anfrage sowohl versteht als auch die richtigen angebundenen Tools nutzt, etwa APIs, Datenbanken, Retrieval-Augmented Generation (RAG) und interne Wissensdatenbanken. 

Die Formel für TSR lautet:

TSR = (Vollständig erledigte Aufgaben / Insgesamt versuchte Aufgaben) x 100

Produktionsreife Voice Agents sollten einen TSR von über 85 % anstreben. Überwachen Sie dabei die Genauigkeit und Zuverlässigkeit von Tool-Aufrufen. Um Einbrüche beim TSR zu vermeiden, führen Sie bei jeder Änderung von Prompts oder angebundenen Modellen Regressionstests durch. Schon kleine Abweichungen können erhebliche Folgen für Ihren TSR haben.

Intelligenz 

Intelligenz erfasst die Schlussfolgerungsfähigkeit und übergeordneten Fähigkeiten eines Voice Agents. Diese Säule zeigt klar den Unterschied zwischen einem sprachgesteuerten IVR-System (Interactive Voice Response) und einem KI-Voice-Agent. 

Zu den wichtigen Bewertungsdimensionen gehören:

• Halluzinationsrisiko: Halluzinationen, bei denen ein Agent Informationen erzeugt, die ungenau sind oder Unternehmensdokumenten widersprechen, sind bei Voice AI besonders schädlich, da sie überzeugend vorgetragen werden können. Aktuelle Studien legen nahe, dass häufige Halluzinationen die Kundenzufriedenheit mit Voice Agents erheblich beeinträchtigen.
• Umgang mit Fragen außerhalb des Bereichs: Intelligente Agents erkennen, wenn eine Frage außerhalb ihres Kontextbereichs liegt, und können angemessen reagieren. Statt eine Antwort zu halluzinieren, lehnen sie ab oder lenken das Gespräch zurück in einen kontextuell abgedeckten Bereich.
• Kontextspeicherung: Kann ein Agent über mehrere Gesprächsrunden hinweg Entitäten und zuvor gemachte Zusagen nachverfolgen? Ohne diese Fähigkeit müssen Kunden sich möglicherweise wiederholen oder erhalten widersprüchliche Antworten.
• Schlussfolgern und mehrstufige Logik: Kann der Agent bedingte Logik korrekt verarbeiten oder Schlussfolgerungen über mehrere Gesprächsrunden verketten? Besonders bei technischen Anwendungsfällen wie Finanzdienstleistungen ist die Fähigkeit, innerhalb eines vordefinierten Kontexts zu schlussfolgern, entscheidend für den Erfolg.

Für diese Dimensionen und Komponenten gibt es mehrere Drittanbieter-Benchmarks. Beispielsweise bewertet Stanfords Benchmark Holistic Evaluation of Language Models (HELM) die Leistung von LLMs in verschiedenen Kategorien. Für Halluzinationen bietet TruthfulQA eine robuste Analyse dazu, wie häufig falsche Antworten in Ergebnisse einfließen. 

Ein Vorteil von ElevenAgents ist, dass Sie die LLM-Schicht vollständig austauschen können – anders als bei manchen Sprachplattformen, die Sie an ein einziges zugrunde liegendes Modell binden. In der Praxis können Sie also das Modell einsetzen, das bei den Reasoning-Benchmarks für Ihren spezifischen Anwendungsfall führt.

Compliance und Sicherheit

Unternehmen müssen aktive Guardrails implementieren, um schädliche oder richtlinienwidrige Ausgaben zu verhindern. Im Gegensatz zu Prompt-Anweisungen auf Systemebene, die umgangen oder überschrieben werden könnten, laufen unabhängige Guardrail-Prüfungen als separate Schicht außerhalb des Modells. Sie bewerten Ausgaben, bevor diese den Nutzer erreichen, und stoppen das Gespräch, wenn es in einen gefährlichen Bereich gerät.

Nachvollziehbarkeit ist eine damit verbundene Anforderung. Produktions-Agents müssen detaillierte Protokolle über Entscheidungen und Ausgaben in einem Format führen, das eine nachträgliche Prüfung ermöglicht. Besonders in stark regulierten Branchen ist es genauso wichtig, Compliance im Nachhinein nachweisen zu können, wie sie von Anfang an zu erreichen.

Welche Vorschriften Ihr Unternehmen genau einhalten muss, variiert je nach Branche. Zu den häufigsten Regelwerken gehören:

• HIPAA: Für geschützte Gesundheitsdaten im US-Gesundheitswesen.
• PCI-DSS: Für jeden Agent, der Zahlungskartendaten verarbeitet.
• DSGVO: Datenschutzpflichten für die EU und Unternehmen mit Kunden in der EU.

Für Unternehmen, die ihre Compliance-Position bewerten, erfüllt ElevenLabs AICPA SOC Type II und die DSGVO und verfügt zudem über die AIUC-1-Zertifizierung. Der AIUC-1 ist ein Sicherheitsstandard, der speziell für KI-Agents entwickelt wurde.

Zuverlässigkeit

Zuverlässigkeit ist die letzte Säule in unserem Framework zur Bewertung von Voice Agents. Sie umfasst die Frage, ob ein Agent dauerhaft in Echtzeit liefern kann. 

Achten Sie bei der Bewertung eines Voice Agents auf folgende Eigenschaften:

• Verfügbarkeit: Jedes kundenorientierte Deployment erwartet 99,9 % Verfügbarkeit, um Ausfälle zu vermeiden. Besonders bei Always-on-Anwendungsfällen wie eingehendem Support ist eine zuverlässige Verfügbarkeit ein wichtiger Faktor.
• Kontrollierter Abbau: Aufgrund der zugrunde liegenden Komplexität von Voice Agents sollte ein Agent den Ausfall einer Komponente kontrolliert behandeln. In der Praxis bedeutet das, an einen Menschen weiterzuleiten, statt unter erhöhter Belastung weiterzuarbeiten oder Fehler auszugeben.
• Leistung unter Last: Lasttests sollten vor dem Go-live mindestens die doppelte erwartete Spitzenparallelität simulieren. Tests unter hoher Belastung können Latenzanstiege oder Leistungseinbußen aufzeigen, die nur im großen Maßstab auftreten. 

Selbst ein hochwertiges Modell, das alle anderen Kriterien erfüllt, kann unbrauchbar sein, wenn es nicht mit Ihrer Kundennachfrage skaliert. ElevenAgents genießt das Vertrauen von 1.000.000 führenden Kreativen und Unternehmen und zeigt damit, dass die Plattform Deployments auf Enterprise-Niveau ohne Abstriche bei Leistungsbenchmarks ermöglicht.

MOS für Voice Agents messen – Schritt für Schritt

Wenn Ihr Unternehmen MOS manuell messen möchte, benötigen Sie einen großen Pool menschlicher Zuhörer und eine Auswahl von Audioclips aus echten Gesprächen. Es ist ein strukturierter Prozess, bei dem Sie Feedback sammeln, Mittelwerte bilden und die Daten anschließend interpretieren.

So messen Sie MOS für Voice Agents in der Praxis:

1. Testset vorbereiten: Wählen Sie eine repräsentative Auswahl von Audioausgaben Ihres Agents mit mindestens 100 Clips aus unterschiedlichen Gesprächen. 
2. Bewertungssitzung durchführen: Bitten Sie Ihre menschlichen Zuhörer, jeden Clip anhand der Qualität des Kommunikationserlebnisses auf einer Skala von 1 bis 5 zu bewerten. 
3. Bewertungen bündeln und Scores berechnen: Bilden Sie den Durchschnitt der Bewertungen pro Clip und anschließend über alle Beispielclips hinweg, um einen Gesamt-MOS zu erhalten. Ein MOS von 4,3 oder höher zeigt, dass Ihr Voice Agent produktionsreif ist. 

Dieser Prozess ist zwar manuell aufwendig, liefert Ihnen jedoch einen belastbaren MOS für den ausgewählten Voice Agent. Wenn Sie den Test im großen Maßstab durchführen möchten, können Sie menschliche Zuhörer durch automatisierte Tools wie NISQA ersetzen, die MOS-Scores programmatisch vorhersagen. Sie können diese Systeme in Ihre aktiven Pipelines integrieren, um MOS fortlaufend zu überwachen.

Benchmarks für KI- und menschliche Tests: FCR, AHT und CSAT

Die wiederholte Berechnung des MOS über die Zeit zeigt Modellverbesserungen oder Regressionen. Zusätzlichen Kontext erhalten Sie durch einen Benchmark mit menschlicher Leistung. Was Menschen in ähnlichen Rollen tatsächlich erreichen, zeigt, ob Ihr Voice Agent nahe am Idealniveau arbeitet.

Hier sind einige Metriken für Benchmarks zwischen KI- und menschlichen Tests.

KI-Agents sollten mit menschlichen Agents bei FCR und CSAT gleichziehen und gleichzeitig die AHT deutlich verbessern. Letzteres liegt daran, dass KI-Agents typischerweise allgemeinere Gespräche bearbeiten als menschliche Agents. Viele Unternehmen nutzen einen Workflow, bei dem KI-Agents als erste Anlaufstelle dienen und Anrufe nur dann an menschliche Agents weiterleiten, wenn sie zu komplex für eine autonome Bearbeitung sind. 

Daten des KI-Vergleichsaggregators Poe aus dem Jahr 2025 zeigen, dass ElevenLabs die stärkste Gesamtfähigkeit zur Erfüllung von Anfragen beibehielt und 74,4 % aller eingehenden Anfragen abschloss. Dieser Erfolg führte zu einer schnell wachsenden Nutzung: Eleven v3 und v2.5-Turbo machten im Zeitverlauf über 60 % der an KI-Modelle gesendeten Nachrichten aus.

Im Zeitverlauf an KI-Modelle gesendete Nachrichten: ElevenLabs führt beim Framework zur Bewertung von Poe-Voice-Agents

Im Zeitverlauf an KI-Modelle gesendete Nachrichten, laut Benchmark von Poe

Typische Fehler beim Testen von Voice Agents

Wenn Sie einem Framework zur Bewertung von Voice Agents folgen, liegt es nahe, Best-Case-Szenarien zu testen. Die tägliche Erfahrung von Kunden mit Ihren Voice-AI-Systemen entsteht jedoch nicht unter idealen Bedingungen. 

Hier sind drei häufige Fehler beim Testen von Voice Agents und wie Sie sie beheben:

• Nur den einfachsten Weg testen: Achten Sie besonders bei der Auswahl von Audioclips für MOS darauf, Edge Cases einzubeziehen. Clips mit Hintergrundgeräuschen oder akzentuierter Sprache sind im Alltag sehr häufig. Wenn Sie nur „saubere“ Audiodateien testen, wird Ihr MOS falsch kalibriert.
• Containment vor Lösung priorisieren: Wenn Sie Ihre Modelle darauf optimieren, Nutzer im Agent-System zu halten, steigen die Containment-Raten, ohne die Ergebnisse zu verbessern. Ist Ihr FCR trotz hoher Containment-Rate niedrig, schickt der Agent Nutzer durch eine frustrierende Schleife. Sorgen Sie dafür, dass Nutzer auf Wunsch mit menschlichen Agents sprechen können.
• Latenzperzentile ignorieren: SLAs definieren Latenz häufig über P95. Diese Metrik ist wichtig, um für die Mehrheit Ihrer Kunden eine konsistente Erfahrung zu bieten. Vergessen Sie jedoch nicht, dass auch die letzten 5 % echte Kunden sind. Bei einem System mit 10.000 täglichen Anrufen sind das immer noch 500 Personen, die ein langsames Gespräch erleben. Konzentrieren Sie sich bei Ihrem zentralen SLA-Ziel auf P99, nicht nur auf Median oder P95.

Wenn Sie diese Punkte berücksichtigen, können Sie faire und repräsentative Ausgangswerte festlegen, statt mit idealisierten Durchschnittswerten zu arbeiten.

Warum anwendungsfallspezifische Bewertungen wichtig sind

Die sechs in diesem Framework beschriebenen Säulen zeigen zwar die Bereiche, die Sie untersuchen sollten, doch die Gewichtung jeder Säule hängt von Ihrer Branche ab. Ein Unternehmen im Finanzdienstleistungssektor könnte beispielsweise Compliance und Tool-Nutzung priorisieren, während eine Verbrauchermarke TTS-Sprachqualität als Leitprinzip wählen würde.

Hier sind zwei Beispiele für anwendungsfallspezifische Bewertungen und dafür, wie sie das Gleichgewicht der einzelnen Säulen verschieben können.

Kundensupport

In bestimmten Branchen wie Callcentern sind weitere Metriken zur Aufgabenerledigung wie First Call Resolution (FCR) ein wichtiger Faktor. Eingehende Anrufe ohne menschliches Eingreifen erfolgreich zu bearbeiten, reduziert die Belastung menschlicher Kundendienstmitarbeiter erheblich. McKinsey schätzt, dass Callcenter mit Voice Agents ihr Interaktionsvolumen um bis zu 50 % reduzieren können.

Auch wenn sie weniger wichtig als die Task Success Rate ist, sollte hier auch die Containment-Rate berücksichtigt werden. Die Containment-Rate ist eine Metrik für die Gesamtdauer eines Anrufs. Ist Ihre Containment-Rate sehr hoch, aber Ihr FCR niedrig, halten Ihre Agents Personen in der Leitung, ohne dem Kunden eine Lösung zu bieten. In der Praxis kann sich das für Kunden wie eine frustrierende Endlosschleife anfühlen.

Weitere zu überwachende Metriken sind die AHT, wobei KI-Agents routinemäßige Probleme schnell lösen sollen. Daher würde der Bereich Kundensupport die Gesprächsqualität, insbesondere Sprecherwechsel und Fallback-Rate, gegenüber anderen Bereichen priorisieren.

Gesundheitswesen

Gesundheitswesen ist ein stark regulierter Bereich mit strengen Compliance-Anforderungen, die den Betrieb von Voice Agents besonders sensibel machen. Compliance ist ein zentrales Anliegen und verschiebt die Gewichtung der Sicherheitssäule im Framework stark in diese Richtung – ebenso wie zur Intelligenz, die über allem steht. 

Chatbots im Gesundheitswesen müssen Terminvereinbarungen, Zugangswege zur Telemedizin, Symptomtriage und Versicherungsfragen bewältigen. All dies erfordert ein hohes Maß an Intelligenz und Tool-Nutzung und zeigt erneut, dass branchenspezifische oder rollenspezifische Anforderungen bestimmen, welche Säule am wichtigsten ist. 

Unabhängig von der Branche Ihres Unternehmens hilft Ihnen das Verständnis der Kernpfeiler bei der Bewertung von Voice Agents und ihre ausgewogene Anwendung, die besten Agents für Sie zu finden.

Mit ElevenAgents für hohe Leistung und niedrige Latenz entwickeln

Die Plattform, auf der Sie entwickeln, beeinflusst direkt die Leistung Ihrer Voice Agents in realen Workflows. Besonders bei der Interaktion mit Ihren Kunden müssen Sie darauf vertrauen können, dass Ihr Agent in jeder Kategorie überzeugt.

ElevenAgents ist für Produktions-Voice-Deployments entwickelt und kombiniert branchenführendes TTS über Eleven v3, Echtzeit-STT über Scribe v2 und eine Agent-Orchestrierungsschicht für Enterprise-Scale. Jede Komponente ist darauf ausgelegt, die in diesem Framework definierten Benchmarks zu erfüllen, damit Sie Ihren Kunden hochwertige Erfahrungen bieten können.

Ob Sie Ihre Optionen abwägen oder bereit sind, mit der Entwicklung zu beginnen: ElevenLabs bietet den passenden Weg. Entdecken Sie die ElevenAgents-Plattform, um zu sehen, wie sie zu Ihrem Anwendungsfall passt, oder registrieren Sie sich und beginnen Sie noch heute mit der Entwicklung.

FAQs zur Bewertung von Voice Agents