Realtime-Modelle
Nutzen Sie ElevenLabs-Modelle für Sprachagenten mit geringer Latenz.
Übersicht
Ein Realtime-Modell ist ein ElevenLabs-Modell für Sprachgespräche mit geringer Latenz, das für Sprachagenten verfügbar ist.
Jeder Sprachagent hat einen Sprachmodus: Custom oder Realtime. Im Custom-Modus wählen Sie LLM, TTS-Modell und ASR-Einstellungen selbst, wie unter Modelle beschrieben. Im Realtime-Modus wählen Sie ein Realtime-Modell, und ElevenLabs verwaltet diese Einstellungen für Sie.
Zwei Realtime-Modelle sind verfügbar:
System-Prompt, Stimme, Tools, Wissensdatenbank und Turn-Einstellungen des Agenten funktionieren in beiden Modi gleich.
Sie kommen von einer anderen Realtime-API wie SpaceXAI oder OpenAI? Mit der Realtime- API können Sie Realtime-Modelle schneller testen: Richten Sie Ihren bestehenden Client auf ElevenLabs aus und behalten Sie die Events, die Sie bereits verwenden.
Realtime-Modelle werden schrittweise eingeführt. Wenn die Einstellung Sprachmodus auf dem
Tab Agent Ihres Agenten nicht angezeigt wird, sind Realtime-Modelle für Ihren Workspace noch nicht verfügbar und die API
lehnt realtime_model mit dem Fehler Realtime models are not available for this workspace. ab.
Einen Sprachmodus wählen
Belassen Sie den Agenten im Custom-Modus, wenn einer der folgenden Punkte zutrifft:
- Der Agent verwendet ein benutzerdefiniertes LLM, Amazon Bedrock oder Speech Engine.
- Der Agent benötigt ein bestimmtes LLM oder TTS-Modell.
- Workflow-Knoten überschreiben das LLM, das TTS-Modell oder eine andere verwaltete Einstellung.
- Der Agent übergibt Gespräche an Agenten im Custom-Modus oder übernimmt Gespräche von ihnen.
- Der Agent ist nur für Text ausgelegt. Realtime-Modelle sind für Sprachgespräche entwickelt.
Andernfalls beginnen Sie mit Eleven Realtime v1 Mini. Wählen Sie stattdessen Eleven Realtime v1 Max, wenn:
- Der Agent lange oder komplexe Anweisungen befolgt oder auf mehrstufige Tool-Aufrufe angewiesen ist und die Antworten von Mini nicht gut genug sind.
- Der Agent Zero Retention Mode oder HIPAA in den USA oder der EU einhalten muss. Mini ist unter beiden nicht verfügbar.
Max ist in den Datenresidenzumgebungen für Indien und Singapur nicht verfügbar und benötigt ein Token-Limit von mindestens 1.024 oder kein Limit. Siehe Einschränkungen und Compliance und Datenresidenz.
Konfiguration
Über das Dashboard aktualisieren
Über die CLI aktualisieren
Über die API aktualisieren
Sprachmodus festlegen
Setzen Sie Sprachmodus auf Realtime. Der Agent wechselt zu Eleven Realtime v1 Mini.
Modell auswählen
Um stattdessen Eleven Realtime v1 Max zu verwenden, wählen Sie es aus der Liste Modell aus.
Veröffentlichen
Veröffentlichen Sie Ihre Änderungen. Die Veröffentlichung schlägt fehl, wenn der Agent gegen eine der Regeln unter Einschränkungen verstößt.
Um Realtime zu deaktivieren, setzen Sie Sprachmodus auf Custom und veröffentlichen Sie. Der Agent verwendet wieder die darauf gespeicherten Einstellungen für LLM, TTS-Modell und ASR.
Verwaltete Einstellungen
Während ein Realtime-Modell festgelegt ist, verwaltet ElevenLabs die folgenden Einstellungen und der Agent ignoriert die dafür gespeicherten Werte. Die gespeicherten Werte werden wieder verwendet, wenn Sie zu Custom wechseln.
Das Token-Limit (agent.prompt.max_tokens) behält seinen gespeicherten Wert, kann jedoch nicht von Workflow-Knoten überschrieben werden. Eleven Realtime v1 Max benötigt zudem einen Mindestwert. Siehe Einschränkungen.
Um eine dieser Einstellungen zu ändern, wechseln Sie den Agenten zu Custom.
Einstellungen, die weiterhin gelten
Alle anderen Agenteneinstellungen funktionieren wie im Custom-Modus, darunter:
- der System-Prompt und die erste Nachricht
- die Stimme, einschließlich Unterstützung mehrerer Stimmen
- Sprachen
- Temperatur
- Tools und die Wissensdatenbank
- Einstellungen für den Gesprächsablauf wie Turn-Bereitschaft, Timeouts und Unterbrechungen
Das Dashboard blendet die LLM-Einstellungen, einschließlich der Temperatur, aus, während sich der Agent im Realtime-Modus befindet. Verwenden Sie die CLI oder die API, um die Temperatur eines Realtime-Agenten zu ändern.
Wenn das Realtime-Modell nicht rechtzeitig antwortet oder einen Fehler zurückgibt, greift der Agent wie unter LLM-Cascading beschrieben auf Backup-LLMs zurück. Das Realtime-Modell legt fest, wie lange der Agent wartet, bevor er darauf zurückgreift.
Einschränkungen
ElevenLabs prüft diese Regeln, wenn Sie den Agenten veröffentlichen. Ein Entwurf, der gegen eine davon verstößt, wird dennoch gespeichert, aber die Veröffentlichung schlägt mit einem Fehler fehl, der die zu ändernde Einstellung nennt.
- Nur ElevenAgents-Agenten: Agenten, die über andere ElevenLabs-Produkte wie Speech Engine erstellt wurden, können kein Realtime-Modell verwenden.
- Kein benutzerdefiniertes LLM: Der Realtime-Modus ist nicht verfügbar, solange das LLM des Agenten ein benutzerdefiniertes LLM oder Amazon Bedrock ist. Wählen Sie im Custom-Modus ein integriertes LLM aus, bevor Sie wechseln.
- Keine Workflow-Überschreibungen verwalteter Einstellungen: Ein Workflow-Knoten kann keine verwaltete Einstellung oder das Token-Limit überschreiben. Entfernen Sie die Überschreibung oder belassen Sie den Agenten im Custom-Modus.
- Token-Limit für Max: Eleven Realtime v1 Max benötigt ein Token-Limit von 1.024 oder mehr oder kein Limit.
- Übergaben zwischen Modi: Ein Agent im Realtime-Modus kann nur Gespräche an andere Agenten im Realtime-Modus übergeben oder von ihnen übernehmen. Übergaben zwischen Mini- und Max-Agenten werden unterstützt.
Bei der Veröffentlichung werden nur die Übergaben geprüft, die der veröffentlichte Agent ausführt. Eine Übergabe an einen Realtime-Agenten von einem Agenten im Custom-Modus wird erst erkannt, wenn der Agent im Custom-Modus das nächste Mal veröffentlicht wird. Bis dahin wird die Übergabe während des Gesprächs abgelehnt und der aktuelle Agent bleibt im Anruf.
Übergabefehler lauten Transfers between default and Realtime model modes are not supported., wobei „default“ den Custom-Modus bedeutet.
Compliance und Datenresidenz
Realtime-Modelle unterliegen denselben Regeln für Zero Retention Mode, HIPAA und Datenresidenz wie andere Modelle. Die Verfügbarkeit unterscheidet sich zwischen Mini und Max:
Zero Retention Mode gilt unabhängig davon, ob er für den Workspace erzwungen oder für den Agenten aktiviert ist.
Wenn ein Realtime-Modell unter den Compliance- oder Datenresidenzeinstellungen des Agenten nicht verfügbar ist, lehnt ElevenLabs es mit einem Fehler ab, der das Modell nennt. Wählen Sie das andere Realtime-Modell oder wechseln Sie zu Custom.
Preise
Für einen Realtime-Agenten wird der Standard-Minutenpreis von ElevenAgents berechnet, zuzüglich der Eingabe-, gecachten Eingabe- und Ausgabe-Tokens zu den Tarifen des Realtime-Modells. Eleven Realtime v1 Max kostet pro Token mehr als Eleven Realtime v1 Mini. Aktuelle Preise finden Sie unter ElevenLabs-Preise.