Ir para a navegação

Modelos em tempo real

Use modelos da ElevenLabs desenvolvidos para agentes de voz de baixa latência.

Visão geral

Um modelo em tempo real é um modelo da ElevenLabs desenvolvido para conversas por voz de baixa latência, disponível para agentes de voz.

Todos os agentes de voz têm um Modo de voz: Personalizado ou Em tempo real. No modo Personalizado, você escolhe o LLM, o modelo de TTS e as configurações de ASR, conforme descrito em Modelos. No modo Em tempo real, você escolhe um modelo em tempo real, e a ElevenLabs gerencia essas configurações para você.

Há dois modelos em tempo real disponíveis:

ModeloValor de realtime_modelDescrição
Eleven Realtime v1 Minieleven_realtime_v1_miniO modelo em tempo real padrão. Menor latência e custo.
Eleven Realtime v1 Maxeleven_realtime_v1_maxRaciocina antes de responder, para instruções complexas e uso de ferramentas em várias etapas. Custa mais que o Mini.

O prompt do sistema, a voz, as ferramentas, a base de conhecimento e as configurações de turno do agente funcionam da mesma forma nos dois modos.

Vem de outra API em tempo real, como SpaceXAI ou OpenAI? A API em tempo real é uma forma mais rápida de experimentar modelos em tempo real: aponte seu cliente existente para a ElevenLabs e mantenha os eventos que você já usa.

Os modelos em tempo real estão sendo lançados gradualmente. Se a configuração Modo de voz não aparecer na aba Agente do seu agente, os modelos em tempo real ainda não estarão disponíveis para seu workspace, e a API rejeitará realtime_model com o erro Realtime models are not available for this workspace.

Como escolher um modo de voz

Mantenha o agente no modo Personalizado se alguma das situações abaixo se aplicar:

  • O agente usa um LLM personalizado, Amazon Bedrock ou Speech Engine.
  • O agente precisa de um LLM ou modelo de TTS específico.
  • Nós de workflow substituem o LLM, o modelo de TTS ou outra configuração gerenciada.
  • O agente transfere para ou recebe transferências de agentes no modo Personalizado.
  • O agente é somente de texto. Os modelos em tempo real são desenvolvidos para conversas por voz.

Caso contrário, comece com o Eleven Realtime v1 Mini. Em vez disso, escolha o Eleven Realtime v1 Max quando:

  • O agente segue instruções longas ou complexas, ou depende de chamadas de ferramentas em várias etapas, e as respostas do Mini não são boas o suficiente.
  • O agente precisa estar em conformidade com o Modo de Retenção Zero ou a HIPAA nos EUA ou na UE. O Mini não está disponível em nenhum dos dois casos.

O Max não está disponível nos ambientes de residência de dados da Índia e de Singapura, e precisa de um limite de tokens de pelo menos 1.024, ou sem limite. Consulte Limitações e Conformidade e residência de dados.

Configuração

1

Abra a aba Agente

Abra seu agente no dashboard e acesse a aba Agente.

2

Defina o modo de voz

Defina Modo de voz como Em tempo real. O agente muda para o Eleven Realtime v1 Mini.

3

Escolha um modelo

Para usar o Eleven Realtime v1 Max, selecione-o na lista Modelo.

4

Publicar

Publique suas alterações. A publicação falhará se o agente violar uma das regras em Limitações.

Para desativar o modo Em tempo real, defina Modo de voz como Personalizado e publique. O agente volta a usar as configurações de LLM, modelo de TTS e ASR armazenadas nele.

Configurações gerenciadas

Enquanto um modelo em tempo real estiver definido, a ElevenLabs gerenciará as configurações a seguir, e o agente ignorará os valores armazenados para elas. Os valores armazenados voltarão a ser usados quando você mudar para Personalizado.

ConfiguraçãoCampo em conversation_config
LLMagent.prompt.llm
Esforço de raciocínioagent.prompt.reasoning_effort
Orçamento de raciocínioagent.prompt.thinking_budget
Chamadas paralelas de ferramentasagent.prompt.enable_parallel_tool_calls
Tempo limite em cascataagent.prompt.cascade_timeout_seconds
Modelo de TTStts.model_id
Modo expressivotts.expressive_mode
Provedor de ASRasr.provider

O limite de tokens (agent.prompt.max_tokens) mantém seu valor armazenado, mas os nós de workflow não podem substituí-lo, e o Eleven Realtime v1 Max exige um valor mínimo. Consulte Limitações.

Para alterar qualquer uma dessas configurações, mude o agente para Personalizado.

Configurações que ainda se aplicam

Todas as outras configurações do agente funcionam como no modo Personalizado, incluindo:

O dashboard oculta as configurações de LLM, incluindo a temperatura, enquanto o agente está no modo Em tempo real. Use a CLI ou a API para alterar a temperatura em um agente em tempo real.

Se o modelo em tempo real não responder a tempo ou retornar um erro, o agente recorrerá a LLMs de backup, conforme descrito em LLM em cascata. O modelo em tempo real define quanto tempo o agente espera antes de recorrer a um backup.

Limitações

A ElevenLabs verifica estas regras quando você publica o agente. Um rascunho que violar uma delas ainda será salvo, mas a publicação falhará com um erro que indica a configuração a ser alterada.

  • Apenas agentes do ElevenAgents: agentes criados em outros produtos da ElevenLabs, como o Speech Engine, não podem usar um modelo em tempo real.
  • Sem LLM personalizado: o modo Em tempo real não está disponível enquanto o LLM do agente for um LLM personalizado ou o Amazon Bedrock. Selecione um LLM integrado no modo Personalizado antes de mudar.
  • Sem substituições de configurações gerenciadas em workflows: um nó de workflow não pode substituir nenhuma configuração gerenciada nem o limite de tokens. Remova a substituição ou mantenha o agente no modo Personalizado.
  • Limite de tokens para o Max: o Eleven Realtime v1 Max precisa de um limite de tokens de 1.024 ou mais, ou sem limite.
  • Transferências entre modos: um agente no modo Em tempo real só pode transferir para e receber transferências de outros agentes no modo Em tempo real. Transferências entre agentes Mini e Max são compatíveis.

A publicação verifica apenas as transferências feitas pelo agente publicado. Uma transferência para um agente em tempo real a partir de um agente no modo Personalizado só é identificada quando o agente no modo Personalizado for publicado novamente; até lá, a transferência é rejeitada durante a conversa e o agente atual permanece na chamada.

Os erros de transferência exibem Transfers between default and Realtime model modes are not supported., em que “default” significa o modo Personalizado.

Conformidade e residência de dados

Os modelos em tempo real seguem as mesmas regras de Modo de Retenção Zero, HIPAA e residência de dados que outros modelos. A disponibilidade varia entre Mini e Max:

AmbienteEleven Realtime v1 MiniEleven Realtime v1 Max
EUADisponívelDisponível
Residência de dados na UEDisponívelDisponível
Residência de dados na ÍndiaDisponívelNão disponível
Residência de dados em SingapuraDisponívelNão disponível
Modo de Retenção Zero e HIPAANão disponívelDisponível nos EUA e na UE

O Modo de Retenção Zero se aplica independentemente de ser imposto no workspace ou ativado no agente.

Se um modelo em tempo real não estiver disponível nas configurações de conformidade ou residência de dados do agente, a ElevenLabs o rejeitará com um erro que indica o modelo. Escolha o outro modelo em tempo real ou mude para Personalizado.

Preços

Um agente em tempo real é cobrado pela tarifa padrão por minuto do ElevenAgents, mais os tokens de entrada, entrada em cache e saída nas tarifas do modelo em tempo real. O Eleven Realtime v1 Max custa mais por token que o Eleven Realtime v1 Mini. Consulte os preços da ElevenLabs para ver as tarifas atuais.

Recursos relacionados