Modelos

O ElevenAgents oferece uma interface unificada para conectar seu agente a vários modelos e provedores, com flexibilidade, confiabilidade e otimização de custos.

Principais recursos

• Acesso unificado: alterne entre provedores e modelos com o mínimo de mudanças no código
• Alta confiabilidade: faça a transição automática de um provedor para outro se um deles falhar
• Monitoramento de gastos: acompanhe seus gastos em diferentes modelos

Modelos compatíveis

No momento, os seguintes modelos têm suporte nativo e podem ser configurados nas configurações do agente:

LLM personalizado

É possível usar seu próprio LLM personalizado especificando o endpoint para o qual devemos enviar solicitações e fornecendo credenciais por meio do nosso armazenamento seguro de segredos. Saiba mais sobre a integração de LLM personalizado.

Como escolher um modelo

A seleção do LLM mais adequado para sua aplicação envolve considerar vários fatores:

• Complexidade da tarefa: avalie os modelos com tarefas representativas da sua aplicação
• Requisitos de latência: para conversas de voz ao vivo, escolha um modelo de baixa latência e meça o tempo de resposta com seus prompts e ferramentas
• Tamanho da janela de contexto: se sua aplicação precisa processar, entender ou recuperar informações de conversas longas ou documentos extensos, selecione modelos com janelas de contexto maiores
• Custo-benefício: equilibre o desempenho e os recursos desejados com seu orçamento. Os preços de LLMs podem variar significativamente, então analise a estrutura de preços (tokens de entrada, saída e cache) em relação aos seus padrões de uso esperados
• Conformidade com a HIPAA: se sua aplicação envolve Informações de Saúde Protegidas (PHI), é fundamental usar um LLM designado como compatível com a HIPAA e garantir que todo o seu processo de tratamento de dados atenda aos padrões regulatórios

Configuração do modelo

Temperatura

A temperatura controla a aleatoriedade das respostas do modelo. Valores mais baixos geram resultados mais consistentes e focados, enquanto valores mais altos aumentam a criatividade e a variação.

• Baixa (0.0-0.3): respostas determinísticas e consistentes para interações estruturadas
• Média (0.4-0.7): equilíbrio entre criatividade e consistência
• Alta (0.8-1.0): respostas criativas e variadas para conversas dinâmicas

Configuração de LLMs de backup

Configure LLMs de backup para garantir a continuidade das conversas quando o LLM principal falhar ou ficar indisponível.

Opções de configuração:

• Padrão: usa a sequência de fallback recomendada pela ElevenLabs
• Personalizado: defina sua própria sequência em cascata de modelos de backup
• Desativado: sem fallback (não recomendado para produção)

Saiba mais sobre cascata de LLMs.

Raciocínio

O raciocínio ajuda os agentes a lidar com decisões complexas, como escolher entre ferramentas, aplicar políticas ou concluir workflows de várias etapas. Dependendo do modelo, você controla quanto raciocínio ele realiza usando um orçamento de pensamento ou um nível de esforço de raciocínio.

Orçamento de pensamento

Defina o número máximo de tokens de raciocínio com o controle deslizante numérico. Orçamentos maiores podem aumentar o tempo de resposta. Defina o orçamento como 0 para desativar o pensamento quando o modelo permitir.

Esforço de raciocínio

O esforço de raciocínio controla quanto o modelo raciocina antes de responder. Os níveis disponíveis dependem do modelo selecionado.

Resumo do raciocínio

Ative o resumo do raciocínio para capturar o raciocínio retornado pelo modelo ao depurar respostas, chamadas de ferramentas ou caminhos do workflow. Ative Resumo do raciocínio nas configurações de LLM do agente ou defina enable_reasoning_summary pela API. A configuração fica desativada por padrão.

Para endpoints personalizados, veja como a ElevenLabs solicita e armazena o raciocínio.

O conteúdo de raciocínio está sujeito às configurações de retenção e remoção de PII. Você pode acessá-lo pelos seguintes canais:

Limitações

• Solicitar um resumo do raciocínio pode aumentar a latência da resposta. Teste antes de ativá-lo em agentes de voz sensíveis à latência.
• Os provedores podem retornar um resumo, texto de pensamento, deltas brutos de raciocínio ou nenhum conteúdo exibível.

Como entender os preços

• Tokens: o uso de LLMs geralmente é cobrado com base no número de tokens processados. Como orientação geral para textos em inglês, 100 tokens equivalem aproximadamente a 75 palavras
• Preços de entrada vs. saída: os provedores frequentemente diferenciam os preços para tokens de entrada (os dados enviados ao modelo) e tokens de saída (os dados que o modelo gera como resposta)
• Preços de cache:
  • input_cache_read: refere-se ao custo associado à recuperação de dados de entrada processados anteriormente em um cache. Usar dados em cache pode gerar economia se entradas idênticas forem processadas várias vezes
  • input_cache_write: é o custo associado ao armazenamento de dados de entrada em um cache. Alguns provedores de LLM podem cobrar por essa operação
• Os preços listados neste documento são por 1 milhão de tokens e se baseiam nas informações disponíveis no momento da redação. Esses preços estão sujeitos a alterações pelos provedores de LLM
• Preços de repasse: a ElevenLabs repassa os custos de LLMs de terceiros pela tarifa publicada pelo provedor, sem margem adicional. Alguns modelos Gemini e Claude seguem os preços regionais (não globais) do Vertex AI, cobrados para o tráfego dos EUA e da UE — um aumento de 10% nos tokens de entrada, saída e cache, em linha com as tarifas regionais do Vertex

Para conhecer os recursos atuais dos modelos, preços e termos de serviço, consulte a documentação do provedor.

Conformidade com a HIPAA

Determinados LLMs disponíveis em nossa plataforma podem ser adequados para uso em ambientes que exigem conformidade com a HIPAA. Consulte a documentação de conformidade com a HIPAA para mais detalhes.

Recursos relacionados

• Integração de LLM personalizado
• Cascata de LLMs
• Otimização de custos

Modelos hospedados pela ElevenLabs

A ElevenLabs oferece acesso a diversos modelos de IA, incluindo determinados modelos de terceiros hospedados pela ElevenLabs.

Quando um modelo é designado como “Hospedado pela ElevenLabs”, ele é implantado e operado em uma infraestrutura gerenciada pela ElevenLabs. Atualmente, esses modelos são hospedados nos Estados Unidos ou na região da sua implantação empresarial.

Como identificar modelos hospedados pela ElevenLabs

Os modelos hospedados pela ElevenLabs são claramente identificados na interface da ElevenLabs. Procure a designação “Hospedado pela ElevenLabs” ao navegar ou selecionar modelos.

Como seus dados são tratados

Para modelos hospedados pela ElevenLabs, as solicitações são processadas em uma infraestrutura gerenciada pela ElevenLabs. Isso significa que o provedor original do modelo não recebe, acessa nem processa as entradas e saídas enviadas pela ElevenLabs.

Ao hospedar esses modelos, a ElevenLabs pode oferecer uma experiência consistente mantendo o controle sobre a infraestrutura usada para atender às solicitações do modelo.

Perguntas frequentes

Onde os modelos auto-hospedados são hospedados?

Os modelos hospedados pela ElevenLabs são atualmente hospedados em uma infraestrutura localizada nos Estados Unidos ou na região da sua implantação empresarial.

O provedor original do modelo acessa meus dados ou metadados de uso?

Para modelos hospedados pela ElevenLabs, o desenvolvedor original do modelo nunca recebe suas entradas ou saídas e não tem acesso aos dados sobre a implantação que os processa.

Como sei se um modelo é Hospedado pela ElevenLabs?

Os modelos hospedados pela ElevenLabs são claramente identificados na interface da ElevenLabs com a designação “Hospedado pela ElevenLabs”.