Realtime-modellen
Gebruik ElevenLabs-modellen die zijn ontwikkeld voor voice agents met lage latency.
Overzicht
Een Realtime-model is een ElevenLabs-model dat is ontwikkeld voor voice gesprekken met lage latency en beschikbaar is voor voice agents.
Elke voice agent heeft een Voice mode: Custom of Realtime. In de Custom-modus kies je zelf het LLM, TTS-model en de ASR-instellingen, zoals beschreven in Modellen. In de Realtime-modus kies je een Realtime-model en beheert ElevenLabs deze instellingen voor je.
Er zijn twee Realtime-modellen beschikbaar:
De systeemprompt, stem, tools, kennisbank en beurtinstellingen van de agent werken in beide modi hetzelfde.
Kom je van een andere realtime API, zoals SpaceXAI of OpenAI? De Realtime API is een snellere manier om Realtime-modellen uit te proberen: laat je bestaande client naar ElevenLabs verwijzen en behoud de events die je al gebruikt.
Realtime-modellen worden geleidelijk uitgerold. Als de instelling Voice mode niet op het tabblad
Agent van je agent verschijnt, zijn Realtime-modellen nog niet beschikbaar voor je workspace en
weigert de API realtime_model met de fout Realtime models are not available for this workspace.
Een voice mode kiezen
Houd de agent in de Custom-modus als een van de volgende punten van toepassing is:
- De agent gebruikt een aangepast LLM, Amazon Bedrock of Speech Engine.
- De agent heeft een specifiek LLM of TTS-model nodig.
- Workflownodes overschrijven het LLM, TTS-model of een andere beheerde instelling.
- De agent schakelt door naar of van agents in de Custom-modus.
- De agent is alleen tekst. Realtime-modellen zijn ontwikkeld voor voice gesprekken.
Begin anders met Eleven Realtime v1 Mini. Kies in plaats daarvan Eleven Realtime v1 Max wanneer:
- De agent lange of complexe instructies volgt, of afhankelijk is van meerstaps tool calls, en de reacties van Mini niet goed genoeg zijn.
- De agent moet voldoen aan Zero Retention Mode of HIPAA in de VS of de EU. Mini is bij geen van beide beschikbaar.
Max is niet beschikbaar in de omgevingen voor dataresidency in India en Singapore en vereist een tokenlimiet van minimaal 1.024, of geen limiet. Zie Beperkingen en Compliance en dataresidency.
Configuratie
Bijwerken via het dashboard
Bijwerken via de CLI
Bijwerken via de API
Stel de voice mode in
Stel Voice mode in op Realtime. De agent schakelt over naar Eleven Realtime v1 Mini.
Kies een model
Als je in plaats daarvan Eleven Realtime v1 Max wilt gebruiken, selecteer je dit in de lijst Model.
Publiceren
Publiceer je wijzigingen. Publiceren mislukt als de agent een van de regels in Beperkingen schendt.
Als je Realtime wilt uitschakelen, stel je Voice mode in op Custom en publiceer je. De agent gaat terug naar de LLM-, TTS-model- en ASR-instellingen die zijn opgeslagen.
Beheerde instellingen
Zolang er een Realtime-model is ingesteld, beheert ElevenLabs de volgende instellingen en negeert de agent de opgeslagen waarden hiervoor. De opgeslagen waarden worden weer gebruikt wanneer je overschakelt naar Custom.
De tokenlimiet (agent.prompt.max_tokens) behoudt de opgeslagen waarde, maar workflownodes kunnen deze niet overschrijven en Eleven Realtime v1 Max vereist een minimumwaarde. Zie Beperkingen.
Als je een van deze instellingen wilt wijzigen, schakel je de agent over naar Custom.
Instellingen die nog steeds van toepassing zijn
Alle andere agentinstellingen werken zoals in de Custom-modus, waaronder:
- de systeemprompt en het eerste bericht
- de stem, inclusief ondersteuning voor meerdere stemmen
- talen
- temperatuur
- tools en de kennisbank
- instellingen voor gespreksverloop, zoals bereidheid om de beurt te nemen, time-outs en onderbrekingen
Het dashboard verbergt de LLM-instellingen, waaronder temperatuur, terwijl de agent in de Realtime-modus staat. Gebruik de CLI of de API om de temperatuur van een Realtime-agent te wijzigen.
Als het Realtime-model niet op tijd reageert of een fout retourneert, valt de agent terug op back-up-LLM’s zoals beschreven in LLM-cascadering. Het Realtime-model bepaalt hoe lang de agent wacht voordat deze terugvalt.
Beperkingen
ElevenLabs controleert deze regels wanneer je de agent publiceert. Een concept dat een van deze regels schendt, wordt nog steeds opgeslagen, maar publiceren mislukt met een fout die de instelling noemt die je moet wijzigen.
- Alleen ElevenAgents-agents: Agents die via andere ElevenLabs-producten zijn gemaakt, zoals Speech Engine, kunnen geen Realtime-model gebruiken.
- Geen aangepast LLM: De Realtime-modus is niet beschikbaar wanneer het LLM van de agent een aangepast LLM of Amazon Bedrock is. Selecteer in de Custom-modus een ingebouwd LLM voordat je overschakelt.
- Geen workflowoverschrijvingen van beheerde instellingen: Een workflownode kan geen beheerde instelling of de tokenlimiet overschrijven. Verwijder de overschrijving of houd de agent in de Custom-modus.
- Tokenlimiet voor Max: Eleven Realtime v1 Max vereist een tokenlimiet van 1.024 of meer, of geen limiet.
- Overdrachten tussen modi: Een agent in de Realtime-modus kan alleen overdragen naar en van andere agents in de Realtime-modus. Overdrachten tussen Mini- en Max-agents worden ondersteund.
Bij het publiceren worden alleen de overdrachten gecontroleerd die de gepubliceerde agent uitvoert. Een overdracht naar een Realtime-agent vanuit een agent in de Custom-modus wordt pas gedetecteerd wanneer de agent in de Custom-modus opnieuw wordt gepubliceerd; tot die tijd wordt de overdracht tijdens het gesprek geweigerd en blijft de huidige agent in het gesprek.
Fouten bij overdrachten luiden Transfers between default and Realtime model modes are not supported., waarbij “default” de Custom-modus betekent.
Compliance en dataresidency
Realtime-modellen volgen dezelfde regels voor Zero Retention Mode, HIPAA en dataresidency als andere modellen. De beschikbaarheid verschilt tussen Mini en Max:
Zero Retention Mode is van toepassing, ongeacht of deze wordt afgedwongen voor de workspace of ingeschakeld voor de agent.
Als een Realtime-model niet beschikbaar is met de compliance- of dataresidency-instellingen van de agent, weigert ElevenLabs dit met een fout die het model noemt. Kies het andere Realtime-model of schakel over naar Custom.
Prijzen
Voor een Realtime-agent worden het standaardtarief van ElevenAgents per minuut in rekening gebracht, plus input-, gecachte input- en outputtokens tegen de tarieven van het Realtime-model. Eleven Realtime v1 Max kost per token meer dan Eleven Realtime v1 Mini. Bekijk ElevenLabs-prijzen voor de actuele tarieven.