Kaskadierte vs. Fusionierte Modelle: Wie die Architektur bestimmt, ob Ihr Voice-Agent unternehmensbereit ist

Die meisten Menschen glauben, Voice Agents basierten entweder auf einer kaskadierten oder einer fusionierten Architektur. In der Praxis liegen Agents auf einem Spektrum zwischen beiden Ansätzen. Je nach Anwendung kommen typischerweise fünf Architekturen zum Einsatz.

Die Architektur eines Agents bestimmt, ob er in der Produktion zuverlässig arbeitet, sich an spezifische Geschäftsanforderungen anpassen lässt und im Gespräch natürlich klingt. Eine fusionierte Architektur wie das Realtime-Modell von OpenAI kann in kurzen Gesprächen beeindruckend lebensecht wirken. Müssen Teams jedoch Compliance-Guardrails durchsetzen, eine fehlerhafte Antwort debuggen oder bei dessen Veröffentlichung im nächsten Monat ein leistungsstärkeres LLM einsetzen, bietet ein einzelnes fusioniertes Netzwerk kaum Handlungsspielraum.

Bei ElevenLabs nutzen wir eine fortschrittliche kaskadierte Architektur. Für Spracherkennung, Schlussfolgern und Sprachgenerierung setzen wir spezialisierte Komponenten ein, die ein hohes Maß an Intelligenz und Zuverlässigkeit ermöglichen. Kontextuelle Prosodie, Optimierung für geringe Latenz und intelligentes Turn-Taking sorgen für natürlich fließende Gespräche. Wir haben diese Architektur gewählt, weil die Unternehmen und Behörden, mit denen wir arbeiten, Agents benötigen, die realistisch klingen und bei komplexen Aufgaben zuverlässig in der Produktion eingesetzt werden können. 

Dieser Artikel erläutert die fünf wichtigsten Architekturen, ihre Stärken und Grenzen sowie unseren Ansatz für die Grundlage von Agents in kritischen Workflows.

Was Teams bei der Wahl einer Architektur bewerten

Die Fragen von Teams lassen sich typischerweise in drei Kategorien einteilen.

Kann sie komplexe Aufgaben bewältigen?

• Schlussfolgerungsfähigkeit und Modellflexibilität: Können Sie die besten Modelle für Ihren Anwendungsfall auswählen, einschließlich der leistungsstärksten verfügbaren LLMs, und auf bessere Optionen upgraden, sobald sie verfügbar sind?
• Agent-Logik: Können Sie Gesprächsabläufe, Entscheidungsregeln und Eskalationspfade Ihres Agents definieren und steuern?
• Tool-Nutzung: Kann die Architektur mehrstufiges Tool Calling und Integrationen mit externen Systemen unterstützen?

Klingt und wirkt sie menschlich?

• Prosodie: Vermittelt der Agent natürlichen Rhythmus, Intonation und emotionale Färbung?
• Latenz: Sind die Antworten schnell genug für ein natürliches Gespräch?
• Turn-Taking: Weiß der Agent, wann er sprechen, pausieren oder das Wort übergeben soll?

Kann ich ihr in der Produktion vertrauen?

• Zuverlässigkeit: Verhält sich der Agent vorhersehbar und konsistent, oder weicht sein Verhalten mit der Zeit ab?
• Guardrails: Kann die Architektur Schutzmaßnahmen gegen unbeabsichtigte Antworten oder böswillige Nutzer durchsetzen?
• Transparenz: Erzeugt die Architektur Zwischenausgaben oder ist sie eine Black Box?

Die Kompromisse zwischen kaskadierten und fusionierten Architekturen

Kaskadierte Architekturen verbinden spezialisierte Komponenten: Speech to Text (STT), ein Large Language Model und Text to Speech (TTS). Jede Stufe lässt sich unabhängig optimieren, testen und upgraden. 

Kaskadierte Architektur

Diese Modularität macht kaskadierte Architekturen zur Grundlage der meisten Agents für Unternehmen. Jede Stufe erzeugt prüfbare Ausgaben: lesbaren Text zwischen STT und LLM sowie zwischen LLM und TTS. Guardrails lassen sich auf der Textebene durchsetzen, aktuelle Frontier-LLMs können ohne Änderungen an den Sprachmodellen integriert werden, und bei Fehlern lässt sich ihre Ursache in der Regel identifizieren.

Ein langjähriger Kritikpunkt an kaskadierten Architekturen ist der Verlust prosodischer Signale. Sprache wird auf Text reduziert, und Intonation, Rhythmus und Emotion müssen bei der Ausgabe rekonstruiert werden. Durch explizite Modellierung lassen sich diese Signale teilweise wiederherstellen, jedoch nicht so natürlich erfassen wie bei fusionierten Ansätzen. Andere Aspekte wie Latenz und Turn-Taking lassen sich bei beiden Ansätzen typischerweise auf ein vergleichbares Leistungsniveau optimieren.

Fusioniertes Modell

Fusionierte Architekturen verfolgen einen grundlegend anderen Ansatz. Erkennung, Schlussfolgern und Generierung finden innerhalb eines einzigen multimodalen Netzwerks statt. Audio geht hinein, Audio kommt heraus – ohne prüfbare Ebene dazwischen.

Das Fehlen von Zwischenstufen ist zugleich Vorteil und Einschränkung. Eine fusionierte Architektur kann prosodische Signale auf natürliche Weise bewahren, da Sprache nie in Text zerlegt wird. Allerdings sind die Möglichkeiten begrenzt, Guardrails durchzusetzen, einzelne Komponenten auszutauschen oder Zwischenausgaben für das Debugging zu prüfen. Auch das Finetuning von STT für branchenspezifische Terminologie oder die Integration eines anderen LLM für stärkeres Schlussfolgern und Tool Calling sind eingeschränkt. Das System besteht aus einem Netzwerk, und Teams sind auf die Schlussfolgerungsfähigkeiten beschränkt, mit denen es ausgeliefert wird. Das bedeutet heute leichtere Kerne, die bei komplexen Aufgaben nicht mit Frontier-LLMs mithalten können.

Die fünf Architekturen

1. Einfache kaskadierte Architektur

Audio wird transkribiert, das LLM erzeugt eine Textantwort und TTS spricht sie aus. Jede Stufe arbeitet mit Klartext. So können Sie alles einsehen, testen und steuern.

Die Vorteile beim Vertrauen liegen auf der Hand: Guardrails auf Textebene, deterministische Gesprächsabläufe und vollständige Audit-Trails. Da das LLM eine eigenständige Komponente ist, können Sie den Agent mit dem Frontier-Modell kombinieren, das die stärksten Fähigkeiten für Schlussfolgern oder Tool Calling bietet, und sofort upgraden, sobald ein besseres verfügbar ist. Die Schwäche liegt in der Gesprächsqualität: Ohne kontextuelles TTS klingt der Agent funktional, aber flach. Es gibt keine emotionale Anpassung oder prosodische Variation. Das ist für die Ansage von Kontoständen akzeptabel, für den Umgang mit frustrierten Kunden jedoch unzureichend.

Beispielanwendungen:

• Ersatz für IVR-Systeme in Telekommunikation und Versorgungswirtschaft
• Bearbeitung von FAQs beim SaaS-Onboarding
• Ausgehende Benachrichtigungen wie Terminbestätigungen, Erinnerungen an Rezepte und Lieferhinweise, bei denen Konsistenz wichtiger ist als Wärme

2. Fortgeschrittene kaskadierte Architektur

Dieselbe modulare Architektur, aber mehrere Komponenten arbeiten nun mit umfassenderem Kontext. Das haben wir mit Expressive Mode in ElevenAgents entwickelt.

Das Scribe v2 Realtime-STT-Modell erstellt unter Einbezug des bisherigen Gesprächskontexts schnelle, präzise Transkriptionen. Auf Basis des Textes weist das LLM das TTS an, wie es Sprache ausgeben soll – nicht nur, was es sagen soll –, etwa „beruhigend“, „mit Nachdruck“ oder „dringlich“. Dabei passt es seinen Ton im Verlauf des Gesprächs dynamisch an. Das Turn-Taking-System nutzt dieselben Signale und ermöglicht dem Agent, zu bestimmen, wann er antworten und wann er das Wort übergeben soll. Die Sprachmodelle sind in einem Stack ohne Netzwerkverbindungen zwischen den Komponenten gemeinsam angesiedelt. So bleibt die Latenz gering.

Die Architektur behält alle Vorteile der einfachen kaskadierten Architektur bei: vollständige Transparenz, Guardrails auf Textebene, austauschbare Komponenten, Domain-Tuning und Zugriff auf die stärksten verfügbaren Modelle für Tool Calling und Schlussfolgern. Sie verbessert Prosodie, Latenz und Turn-Taking deutlich. Teams können ein neues Frontier-LLM bereits in der Woche seiner Veröffentlichung integrieren oder STT für das Gesundheitswesen auf Fachsprache abstimmen, ohne andere Komponenten neu aufbauen zu müssen.

Beispielanwendungen:

• Kundensupport für Finanzdienstleistungen, bei dem ein empathischer Ton bei Anrufen zu strittigen Belastungen mit strengen Compliance-Guardrails und vollständiger Interaktionsprotokollierung kombiniert wird
• Empfangskräfte im Gesundheitswesen, die Patientenanrufe mit angemessener Dringlichkeit priorisieren – mit HIPAA-konformen Abläufen und auf medizinische Terminologie abgestimmter Spracherkennung
• Vertriebsassistenten, die einen warmen, überzeugenden Ton beibehalten, einem strukturierten Leitfaden folgen und Updates ins CRM übertragen

3. Hybride kaskadierte und fusionierte Architektur

Einige Architekturen führen akustische Merkmale aus der Eingabesprache – Aussprache, Emotion und Tonfall – direkt als Embeddings dem LLM zu, statt sie zunächst in Text umzuwandeln. TTS bleibt modular.

Dadurch erhält das LLM umfangreichere Informationen darüber, wie etwas gesagt wurde, und nicht nur darüber, was gesagt wurde. Das ist für bestimmte Anwendungen wertvoll. Der fusionierte ASR+LLM-Block lässt sich schwieriger prüfen als eine klare Textübergabe, da die Zwischendarstellung ein Embedding und nicht für Menschen lesbar ist. Auch das LLM lässt sich nicht mehr einfach austauschen. Dadurch sind Ihre Fähigkeiten für Schlussfolgern und Tool Calling auf das Modell beschränkt, auf dem der fusionierte Block basiert.

Beispielanwendungen:

• Sprachlernen und Aussprachetraining, bei denen es ebenso wichtig ist zu hören, wie ein Lernender spricht, wie was er sagt
• Tonsensitiver Support mit geringer Komplexität, bei dem es auf das Erkennen von Frustration ankommt, die Aufgabe selbst aber einfach ist.

4. Sequenziell fusionierte Architektur

Ein einzelnes multimodales Modell übernimmt Erkennung, Schlussfolgern und Generierung in einem Durchgang, einen Gesprächszug nach dem anderen.

Die Prosodie kann stark sein. Da Sprache nie in Text zerlegt wird, bewahrt das Modell Tempo, Intonation und emotionale Signale auf natürliche Weise. Kurze Gespräche können bemerkenswert flüssig klingen.

Ohne Textebene sind die Möglichkeiten jedoch begrenzt, Guardrails durchzusetzen. Auch Zwischenausgaben für das Debugging fehlen weitgehend, und die Flexibilität, ein besseres LLM einzusetzen oder STT auf Ihre Domain abzustimmen, ist eingeschränkt. Die Kerne für das Schlussfolgern sind meist weniger leistungsfähig als Frontier-LLMs. Daher leiden komplexes Tool Calling und mehrstufige Aufgaben. Erfordert die Aufgabe die Lösung eines komplexen Problems, reicht Prosodie allein nicht aus.

Beispielanwendungen:

• Persönliche Begleiter, Unterhaltungs-Chatbots und Anwendungen, bei denen Ausdrucksstärke das Engagement steigert und Compliance-Anforderungen gering sind.

5. Duplex-fusionierte Architektur

Eingabe und Ausgabe werden gleichzeitig verarbeitet: Das Modell hört zu und spricht zugleich. Dadurch können kurze Gespräche auffallend natürlich wirken, mit echtem überlappendem Sprechen und flüssigen Sprecherwechseln.

Sie ist zugleich die am schwierigsten steuerbare Architektur. Guardrails lassen sich nur sehr schwer durchsetzen, und Übersprechen führt zu unvorhersehbaren Fehlern. Prüfen, Protokollieren oder Debuggen ist äußerst schwierig. Das System ist weitgehend geschlossen und bietet nur wenige Möglichkeiten zum Austausch von Komponenten, Domain-Tuning oder zur Anpassung. Schlussfolgern und Tool-Nutzung sind noch stärker eingeschränkt als bei sequenziell fusionierten Modellen, da die gleichzeitige Verarbeitung weniger Kapazität für komplexe Logik lässt. Und dieselbe gleichzeitige Verarbeitung, die kurze Gespräche natürlich klingen lässt, macht längere Gespräche instabil.

Beispielanwendungen:

• Experimentelle Companion-Apps, soziale Sprachplattformen und Forschungsdemos, bei denen unvorhersehbares Verhalten akzeptabel ist.

Die richtige Architektur für Ihren Anwendungsfall wählen

Die richtige Architektur hängt von den Anforderungen der jeweiligen Anwendung ab. Wenn Sie ein Erlebnis entwickeln, bei dem natürlich klingende Sprache das zentrale Merkmal ist, bieten fusionierte Architekturen echte Stärken – sofern Sie bei Frontier-Schlussfolgern, Guardrails und Transparenz Kompromisse eingehen wollen. Fusionierte Modelle liegen bei der Prosodie zwar vorn, doch fortgeschrittene kaskadierte Systeme holen jedes Quartal auf. Fusionierte Modelle haben bei komplexem Schlussfolgern oder Vertrauen hingegen aufgrund architektonischer Einschränkungen keine wesentlichen Fortschritte erzielt.

Für die meisten Unternehmen und Behörden ist die beste Architektur eine, die hervorragend klingt sowie leistungsfähig, anpassbar, vertrauenswürdig und bereit für den Einsatz im großen Maßstab ist. Deshalb haben wir ElevenAgents mit einer fortschrittlichen kaskadierten Architektur entwickelt und in Expressive Mode sowie erstklassige, gemeinsam optimierte Modelle für Speech to Text und Text to Speech investiert. So können Teams Agents entwickeln und hohe Intelligenz, Zuverlässigkeit und Kontrolle mit natürlich klingender, menschenähnlicher Sprache verbinden.

KI-Agents werden zunehmend in Kundensupport, Bildung, persönlichen Assistenten und weiteren Bereichen eingesetzt. Erfolgreich werden jene sein, deren Architektur auf ihren konkreten Anwendungsfall zugeschnitten ist.