Was ist Latenz bei Conversational KI und was beeinflusst sie?

Bei Conversational AI entscheidet die Latenz darüber, ob Anwendungen gut oder großartig sind.

Conversational AI ist von Natur aus anspruchsvoll. Sie soll sich wie ein Gespräch mit einem Menschen anfühlen und dabei dessen emotionale Bandbreite, Tonhöhe und Sprechtempo nachbilden. Berücksichtigt man auch die „natürliche“ Pause zwischen dem Ende Ihrer Aussage und dem Beginn der Antwort eines KI-Agenten, ergibt sich ein Latenzziel, das darauf basiert, wie Menschen tatsächlich kommunizieren. 

Unternehmen, die Conversational-AI-Agenten skalierbar einsetzen möchten, müssen diese Latenz so weit wie möglich reduzieren, um diese natürliche Wirkung zu erzielen. Dieser Artikel erklärt, was Conversational-AI-Latenz ist, wodurch Verzögerungen in der gesamten Pipeline entstehen und wie Sie sie auf hoher Ebene reduzieren können. 

Zusammenfassung

• Die Conversational-AI-Latenz ist die gesamte End-to-End-Verzögerung vom Ende der Spracheingabe eines Nutzers bis zum ersten Wort des Agenten.
• Agenten mit mehr als 700 ms können unnatürlich wirken. Bei mehr als 1.200 ms sind die Abbruchraten hoch.
• Die Latenz summiert sich über jede Phase der Conversational-AI-Pipeline.
• ElevenAgents verarbeitet die gesamte Pipeline in einer einheitlichen Architektur und macht Conversational AI mit niedriger Latenz für Ihr Unternehmen zugänglich.

Was ist Conversational-AI-Latenz?

Die Conversational-AI-Latenz bezeichnet die Gesamtzeit, die ein System nach Ihrer Spracheingabe für eine Antwort benötigt. Bei modernen KI-Modellen wird die Latenz in ms gemessen. Hinter diesem Gesamtwert stehen mehrere einzelne Prozesse, die jeweils einen Teil der End-to-End-Pipeline bilden. 

Eine typische Conversational-AI-Pipeline sieht so aus:

1. Ein Nutzer spricht
2. Das Audio wird von einem Speech-to-Text-Modell transkribiert
3. Das Transkript wird an ein LLM übergeben, das eine Antwort erzeugt
4. Der Text des LLM wird dann mit einem Text-to-Speech-Modell in Audio umgewandelt
5. Das Audio wird dem Nutzer wiedergegeben

Jede dieser Phasen erhöht die Latenz eines Conversational-AI-Systems. Daher gibt es bei der Latenz einige Abkürzungen, die geklärt werden sollten.

Modell-Inferenzlatenz

Die Modell-Inferenzlatenz ist die Zeit, die ein Modell intern für die Ausgabeerzeugung benötigt, ohne externe Faktoren. Sie zeigt modellspezifisch, wie schnell Ihre Engine bei typischen Eingaben arbeitet. Flash v2.5 hat beispielsweise eine Modell-Inferenzlatenz von rund 75 ms. Damit können Sie die Geschwindigkeit von Modellen verschiedener Anbieter vergleichen.

Beachten Sie jedoch: Dies ist nicht die Latenz, die Nutzer tatsächlich erleben. Sie beschreibt ausschließlich die Gesamtzeit, die ein Modell für die Ausgabeerzeugung benötigt.

LLM Time-to-First-Token

Die Time-to-First-Token (TTFT) eines Large Language Models (LLM) ist die Gesamtzeit, die ein LLM benötigt, um einen Prompt zu verarbeiten und das erste nutzbare Ausgabe-Token zu erzeugen.

Die TTS-Generierung beginnt, sobald das erste Token von Ihrem LLM eintrifft. Sie misst also, wie lange das LLM braucht, um Ihr TTS-Modell zu starten. Bei den meisten End-to-End-Systemen für Conversational AI macht die LLM-TTFT einen erheblichen Teil der Gesamtlatenz aus. 

TTS Time-to-First-Audio (TTFA)

Die TTS Time-to-First-Audio (TTFA) misst die Zeit von der ersten TTS-Anfrage bis das erste Audio-Chunk das Modell tatsächlich verlässt. Sie beschreibt die Modell-Inferenzlatenz speziell für TTS-Engines. 

End-to-End Time-to-First-Audio (TTFA)

Die End-to-End-TTFA entspricht der gesamten Conversational-AI-Latenz. Sie ist die Summe aller Teile der Pipeline: Spracherkennung, LLM-TTFT, TTS, TTFA und aller Netzwerkübertragungen zwischen den Schritten. Für die gesamte Conversational-AI-Latenz ist dies die Kennzahl, die Nutzer wahrnehmen.

Nach dem Sprechen warten Nutzer auf die End-to-End-TTFA, bevor sie etwas von Ihrem Agenten hören. Es ist eine ganzheitliche Kennzahl: Jede Verbesserung in der Pipeline verbessert sie. 

Warum Conversational-AI-Latenz wichtig ist

Wenn ein Nutzer mit Ihrem KI-Agenten spricht, ist die Latenz entscheidend für die Wahrnehmung der Erfahrung. Niedrige Latenzzeiten verkürzen die Wartezeit auf Antworten, lassen Gespräche natürlicher wirken und Ihren Agenten kompetenter erscheinen. 

Agenten mit hoher Latenz wirken künstlich und weniger kompetent, selbst bei gleicher Antwortqualität. Für Unternehmen können schon wenige 100 ms wie eine Ewigkeit wirken und Ihren Kundensupport-Agenten schwerfällig und ineffektiv erscheinen lassen.

Die folgenden Szenarien zeigen, warum Conversational-AI-Latenz in der Praxis wichtig ist:

• Unter 500 ms: Ein Conversational-AI-Agent reagiert schnell und nahtlos. Nutzer bemerken die Verzögerung zwischen dem Ende ihrer Spracheingabe und der ersten Antwort möglicherweise nicht. Das Gespräch bleibt flüssig.
• 500 ms bis 1000 ms: Die Verzögerung zwischen dem Ende der Spracheingabe und der Antwort kann spürbar werden. Sie ist nur leicht zu lang. Nutzer könnten sich vorsorglich anpassen, indem sie sich wiederholen oder pausieren, um zu prüfen, ob der Agent sie verstanden hat.
• Über 1000 ms: Verzögerungen wirken langsam. Pausen können Nutzern das Gefühl geben, dass der KI-Agent dem Gespräch nicht vollständig folgt. Transkripte zeigen möglicherweise gelegentliche Unterbrechungen oder den Wunsch, mit einem menschlichen Agenten zu sprechen. In manchen Fällen brechen Nutzer den Anruf ab.

Jeder dieser Schwellenwerte führt zu konkreten Geschäftsergebnissen. 

Am unteren Ende des Latenzspektrums steht ein Kundenservice-Agent, der eingehende Fragen natürlich bearbeitet und Nutzern ohne zusätzliche Hilfe bei der Lösung ihrer Anliegen hilft. Das entlastet Ihre menschlichen Agenten und hält die Kundenzufriedenheit hoch. Am oberen Ende des Spektrums frustriert ein Agent Ihre Kunden, wenn er zu lange zu zögern scheint. 

In einem anderen Artikel haben wir die Benchmarks für das Latenzbudget von Voice Agents definiert. Sie zeigen, wie gute Latenz bei P50- und P95-Werten aussieht. 

Was verursacht Conversational-AI-Latenz?

Conversational-AI-Latenz fasst mehrere Prozesse zusammen, wobei jedes Segment zum Gesamtwert beiträgt. Der Engpass für niedrige Latenz ist daher eher ein Problem auf Systemebene als eines, das sich durch die Wahl eines besseren Modells lösen lässt. Schließlich interagieren mehrere Modelle in der Pipeline.

Für Entwickler haben wir einen ausführlichen technischen Leitfaden zur Optimierung der Voice-Agent-Latenz erstellt. Damit können Sie jede Phase der End-to-End Time-to-First-Audio (TTFA) verbessern.

Neben der Kernpipeline erhöhen auch andere Faktoren wie Telefonie und Function Calling die Latenz, obwohl sie nicht Teil der Modellinfrastruktur sind. 

Hier ist ein Überblick über alle Faktoren, die zur Conversational-AI-Latenz beitragen. 

Automatische Spracherkennung

Die Latenz der Spracherkennung ist nicht die Zeit, die zum Erstellen eines Transkripts benötigt wird. Die Transkription läuft im Hintergrund, während der Nutzer spricht. Wenn die Spracheingabe endet, ist der Text daher weitgehend fertig. 

Die Latenz ist hier die Zeit zwischen dem Ende der Spracheingabe und dem Finalisieren und Weiterleiten des Transkripts an die nächste Phase. Scribe v2 Realtime reduziert diese Lücke auf etwa 150 ms und streamt kontinuierlich, sodass die Ausgabe bereitsteht, sobald der Turn endet.

Turn-Taking und Endpunkterkennung 

Ein Voice Activity Detector (VAD) befindet sich zwischen Spracherkennung und Sprachmodell. Seine Aufgabe ist es, zu entscheiden, wann der Nutzer tatsächlich zu Ende gesprochen hat. 

Um Fehler zu vermeiden, wartet der VAD auf eine bestimmte Dauer anhaltender Stille, bevor er den Turn für beendet erklärt. Diese Wartezeit erhöht die Latenz, bevor das Sprachmodell ein Wort verarbeitet. Die zusätzliche Latenz kostet zwar Zeit, verhindert aber, dass das System antwortet, während der Nutzer noch spricht. 

Rein technisch wäre die dem Turn-Taking zugerechnete Latenz sinnvoll, wenn alle anderen Conversational-AI-Komponenten keine Latenz hätten. Menschen warten kurz, bevor sie auf Sprache reagieren. Eine ähnliche Pause durch eine Maschine macht die Interaktion realistischer. Da andere Komponenten von Conversational AI jedoch bereits Latenz verursachen, ist eine minimale Latenz ideal.

Verarbeitung durch das Sprachmodell

Sobald das Transkript aus der Speech-to-Text-Engine (STT) bereitsteht, erzeugt das Sprachmodell eine Antwort. Die Latenz ist hier die Zeit bis zur ersten Token-Generierung, nicht bis zur vollständigen Antwort. Die Tokens werden direkt beim Eintreffen an die TTS-Phase gestreamt. Entscheidend ist daher die TTFT. 

Neben der Modellwahl beeinflussen auch Prompt-Länge und Größe der Wissensdatenbank diese Phase. Je mehr Kontext das LLM berücksichtigen muss, desto länger dauert es. Beim Entwurf dieser Systeme im großen Maßstab sollten Sie für hohe Geschwindigkeit das richtige Gleichgewicht zwischen einer nützlichen Wissensdatenbank und einem schlanken Prompt finden.

Sprachsynthese

Die TTS-Latenz ist die Zeit zwischen dem Empfang der ersten Tokens vom Sprachmodell und dem Beginn der Audiowiedergabe. Da Tokens schneller eintreffen, als menschliche Sprache wiedergegeben wird, wartet das Synthesemodell nie auf die vollständige Antwort. Die TTS-Latenz ist ausschließlich die Zeit bis zum ersten Audio-Chunk. 

Früher war diese Phase der größte einzelne Faktor für Conversational-AI-Latenz: Ältere Modelle benötigten 2–3 Sekunden, bis sie Sprache erzeugten. ElevenLabs’ Flash v2.5 löst dieses Problem direkt, liefert Sprachsynthese mit etwa 75 ms Latenz und reduziert diesen Engpass von Sekunden auf einen Sekundenbruchteil.

Netzwerklatenz

Die Übertragung von Daten zwischen zwei Standorten verursacht immer Latenz. Geografische Entfernung verstärkt die Netzwerk-Round-Trip-Latenz zusätzlich. 

Da mehrere Komponenten für eine End-to-End-Antwort zusammenarbeiten, kann sich über mehrere Netzwerk-Hops erhebliche Latenz summieren. 

Function Calling

Function Calls fügen in der LLM-Phase API-Round-Trips hinzu. Eine schnelle interne Abfrage benötigt einige zehn Millisekunden, während ein Zahlungsdienstleister oder Warenwirtschaftssystem Sekunden benötigen kann. Die Latenz hängt vollständig vom aufgerufenen Dienst ab. Dadurch ist diese Phase am schwierigsten direkt zu optimieren. 

Am wirksamsten ist es, das LLM zu einer Antwort aufzufordern, bevor der Tool-Aufruf abgeschlossen ist. Ein Satz wie „Ich prüfe das für Sie“ bindet den Nutzer ein, während der externe Aufruf abgeschlossen wird, statt Stille entstehen zu lassen. Die Sprachantwort beginnt, während das Tool parallel läuft.

So reduzieren Sie Conversational-AI-Latenz

Um die Conversational-AI-Latenz zu reduzieren, müssen Sie jede Pipeline-Phase nach ihrem Einfluss angehen. Einzelne Verbesserungen wirken sich zwar auf die Latenz aus, die größte Veränderung erzielen Sie jedoch nur durch eine ganzheitliche Optimierung der gesamten Pipeline.

Diese Grundsätze helfen Ihnen, Conversational-AI-Latenz auf hoher Ebene zu reduzieren:

• TTS-Modellauswahl: Auf Geschwindigkeit optimierte TTS-Modelle wie Flash v2.5 nutzen andere Architekturen als auf Qualität optimierte Modelle wie Eleven v3. Für Echtzeit-Voice Agents ist die richtige Wahl das hochwertigste Modell, das Ihr Latenzziel erfüllt – fast immer ein geschwindigkeitsoptimiertes Modell.
• LLM-Modellauswahl: Kleinere, schnellere LLMs erzielen meist eine niedrigere Time-to-First-Token als größere Modelle. Die Wahl des schnellsten LLM, das Ihren Qualitätsanspruch für die Aufgabe noch erfüllt, ist genauso wichtig wie die TTS-Modellauswahl.
• Streaming: Streaming-TTS gibt Audio während der Synthese in Chunks zurück. So hört der Nutzer das erste Wort, während das Modell den Rest noch erzeugt. Dieses Prinzip gilt auch für die LLM-Ausgabe: Wenn die TTS-Synthese mit dem ersten Satz beginnt, während das Sprachmodell weitere Sätze generiert, lässt sich Latenz aus der Pipeline zurückgewinnen. 
• System-Prompt-Design: Sie können System-Prompts optimieren, indem Sie Anweisungen in Verfahren oder Workflows auslagern, statt sie in jedem Entscheidungsschritt zu behalten. Dadurch reduziert sich der Kontext, über den das Modell bei jedem Turn nachdenken muss.
• Guardrails: Wenn Guardrails im Streaming-Modell ausgeführt werden, kann die Ausgabe starten, bevor die Guardrail-Prüfung abgeschlossen ist, statt die Wiedergabe bis zum Ende der Prüfung zu blockieren.
• Modell-Kollokation: Kollokierte Modelle, etwa der ElevenLabs-Agents-Stack, halten Komponenten nah beieinander. So entsteht keine zusätzliche Latenz durch Hops zwischen separat gehosteten Modellen.
• Geografie: Die räumliche Nähe zwischen Ihren Servern und Nutzern kann die Latenz erheblich reduzieren, da sie direkt den Netzwerkanteil an der End-to-End-TTFA verringert. 

Über diese Faktoren hinaus finden Sie in diesem technischen Leitfaden zur Latenzoptimierung weitere Details. 

Starten Sie mit Conversational AI mit niedriger Latenz auf ElevenAgents

Conversational-AI-Latenz ist ein entscheidender Faktor beim Entwickeln und Bereitstellen von Agenten. Mit ElevenAgents ist Latenzoptimierung in den Prozess integriert. Von Überlappungstechniken zur Verkürzung der Wiederherstellungszeit bis hin zu niedriger Modell-Inferenzlatenz einzelner Komponenten: ElevenAgents erstellt Conversational-AI-Stacks mit niedriger Latenz für Ihr Unternehmen. 

Letztlich geht es darum, Realismus zu schaffen. Nutzer sollen sich beim Gespräch mit einem Menschen wohlfühlen und gleichzeitig die Vorteile eines Computerprogramms erhalten. Durch die Optimierung der Teilprozesse ist das jetzt möglich.

Erfahren Sie mehr über ElevenAgents oder kontaktieren Sie den Vertrieb, um noch heute zu starten.

FAQ zur Conversational-AI-Latenz