Modelos en tiempo real
Usa modelos de ElevenLabs diseñados para agentes de voz de baja latencia.
Información general
Un modelo Realtime es un modelo de ElevenLabs diseñado para conversaciones de voz de baja latencia, disponible para agentes de voz.
Todos los agentes de voz tienen un Modo de voz: Personalizado o Realtime. En el modo Personalizado, eliges tú mismo el LLM, el modelo de TTS y la configuración de ASR, tal como se describe en Modelos. En el modo Realtime, eliges un modelo Realtime y ElevenLabs gestiona esa configuración por ti.
Hay dos modelos Realtime disponibles:
El prompt del sistema, la voz, las herramientas, la base de conocimiento y la configuración de turnos del agente funcionan igual en ambos modos.
¿Vienes de otra API en tiempo real, como SpaceXAI u OpenAI? La API Realtime es una forma más rápida de probar los modelos Realtime: dirige tu cliente actual a ElevenLabs y conserva los eventos que ya utilizas.
Los modelos Realtime se están implementando gradualmente. Si la opción Modo de voz no aparece en la
pestaña Agente de tu agente, los modelos Realtime aún no están disponibles para tu espacio de trabajo, y la API
rechaza realtime_model con el error Realtime models are not available for this workspace.
Elegir un modo de voz
Mantén el agente en modo Personalizado si se cumple alguna de las siguientes condiciones:
- El agente utiliza un LLM personalizado, Amazon Bedrock o Speech Engine.
- El agente necesita un modelo de LLM o TTS específico.
- Los nodos de workflow sustituyen el LLM, el modelo de TTS u otra configuración gestionada.
- El agente transfiere conversaciones a agentes en modo Personalizado o las recibe de ellos.
- El agente es solo de texto. Los modelos Realtime están diseñados para conversaciones de voz.
De lo contrario, empieza con Eleven Realtime v1 Mini. Elige Eleven Realtime v1 Max en su lugar cuando:
- El agente sigue instrucciones largas o complejas, o depende de llamadas a herramientas en varios pasos, y las respuestas de Mini no son suficientes.
- El agente debe cumplir con el Modo de retención cero o HIPAA en EE. UU. o la UE. Mini no está disponible con ninguno de los dos.
Max no está disponible en los entornos de residencia de datos de India y Singapur, y necesita un límite de tokens de al menos 1024, o ningún límite. Consulta Limitaciones y Cumplimiento normativo y residencia de datos.
Configuración
Actualizar desde el panel de control
Actualizar mediante la CLI
Actualizar mediante la API
Configura el modo de voz
Configura Modo de voz como Realtime. El agente cambia a Eleven Realtime v1 Mini.
Publica
Publica los cambios. La publicación falla si el agente incumple una de las reglas de Limitaciones.
Para desactivar Realtime, configura Modo de voz como Personalizado y publica. El agente vuelve a usar la configuración de LLM, modelo de TTS y ASR almacenada en él.
Configuración gestionada
Mientras haya un modelo Realtime configurado, ElevenLabs gestiona los siguientes ajustes y el agente ignora los valores almacenados para ellos. Los valores almacenados volverán a utilizarse cuando cambies a Personalizado.
El límite de tokens (agent.prompt.max_tokens) conserva su valor almacenado, pero los nodos de workflow no pueden sustituirlo y Eleven Realtime v1 Max necesita un valor mínimo. Consulta Limitaciones.
Para cambiar cualquiera de estos ajustes, cambia el agente a Personalizado.
Ajustes que siguen aplicándose
Todos los demás ajustes del agente funcionan como en el modo Personalizado, incluidos:
- el prompt del sistema y el primer mensaje
- la voz, incluida la compatibilidad con varias voces
- los idiomas
- la temperatura
- las herramientas y la base de conocimiento
- la configuración del flujo de conversación, como la predisposición a tomar el turno, los tiempos de espera y las interrupciones
El panel de control oculta los ajustes del LLM, incluida la temperatura, mientras el agente está en modo Realtime. Usa la CLI o la API para cambiar la temperatura de un agente Realtime.
Si el modelo Realtime no responde a tiempo o devuelve un error, el agente recurre a LLM de respaldo como se describe en cascada de LLM. El modelo Realtime establece cuánto tiempo espera el agente antes de recurrir a ellos.
Limitaciones
ElevenLabs comprueba estas reglas cuando publicas el agente. Un borrador que incumpla alguna de ellas se guarda igualmente, pero la publicación falla con un error que indica qué ajuste debes cambiar.
- Solo agentes de ElevenAgents: Los agentes creados mediante otros productos de ElevenLabs, como Speech Engine, no pueden usar un modelo Realtime.
- Sin LLM personalizado: El modo Realtime no está disponible mientras el LLM del agente sea un LLM personalizado o Amazon Bedrock. Selecciona un LLM integrado en el modo Personalizado antes de cambiar.
- Sin sustituciones de configuración gestionada en workflows: Un nodo de workflow no puede sustituir ninguna configuración gestionada ni el límite de tokens. Elimina la sustitución o mantén el agente en modo Personalizado.
- Límite de tokens para Max: Eleven Realtime v1 Max necesita un límite de tokens de 1024 o más, o ningún límite.
- Transferencias entre modos: Un agente en modo Realtime solo puede transferir conversaciones a otros agentes en modo Realtime y recibirlas de ellos. Se admiten transferencias entre agentes Mini y Max.
La publicación solo comprueba las transferencias que realiza el agente publicado. Una transferencia a un agente Realtime desde un agente en modo Personalizado solo se detecta cuando se publica de nuevo el agente en modo Personalizado; hasta entonces, la transferencia se rechaza durante la conversación y el agente actual permanece en la llamada.
Los errores de transferencia indican Transfers between default and Realtime model modes are not supported., donde “default” significa modo Personalizado.
Cumplimiento normativo y residencia de datos
Los modelos Realtime siguen las mismas reglas de Modo de retención cero, HIPAA y residencia de datos que otros modelos. La disponibilidad difiere entre Mini y Max:
El Modo de retención cero se aplica tanto si se impone en el espacio de trabajo como si se activa en el agente.
Si un modelo Realtime no está disponible con la configuración de cumplimiento normativo o residencia de datos del agente, ElevenLabs lo rechaza con un error que indica el modelo. Elige el otro modelo Realtime o cambia a Personalizado.
Precios
A un agente Realtime se le factura la tarifa estándar por minuto de ElevenAgents, además de sus tokens de entrada, entrada en caché y salida según las tarifas del modelo Realtime. Eleven Realtime v1 Max cuesta más por token que Eleven Realtime v1 Mini. Consulta los precios de ElevenLabs para ver las tarifas actuales.