Modelos

O ElevenAgents oferece uma interface unificada para conectar seu agente a diversos modelos e provedores, proporcionando flexibilidade, confiabilidade e otimização de custos.

Principais recursos

• Acesso unificado: alterne entre provedores e modelos com mudanças mínimas no código
• Alta confiabilidade: alterne automaticamente de um provedor para outro se um deles falhar
• Monitoramento de gastos: monitore seus gastos em diferentes modelos

Modelos compatíveis

Atualmente, os seguintes modelos têm suporte nativo e podem ser configurados nas configurações do agente:

LLM personalizado

Você pode usar seu próprio LLM personalizado especificando o endpoint para o qual devemos enviar as solicitações e fornecendo credenciais pelo nosso armazenamento seguro de segredos. Saiba mais sobre a integração de LLM personalizado.

Como escolher um modelo

Para selecionar o LLM mais adequado para sua aplicação, considere vários fatores:

• Complexidade da tarefa: avalie os modelos usando tarefas representativas da sua aplicação
• Requisitos de latência: para conversas de voz ao vivo, escolha um modelo de baixa latência e meça o tempo de resposta com seus prompts e ferramentas
• Tamanho da janela de contexto: se sua aplicação precisa processar, compreender ou recuperar informações de conversas longas ou documentos extensos, selecione modelos com janelas de contexto maiores
• Custo-benefício: equilibre o desempenho e os recursos desejados com seu orçamento. Os preços de LLMs podem variar significativamente, então analise a estrutura de preços (tokens de entrada, saída e cache) em relação aos seus padrões de uso esperados
• Conformidade com a HIPAA: se sua aplicação envolve Informações de Saúde Protegidas (PHI), é essencial usar um LLM designado como compatível com a HIPAA e garantir que todo o seu processo de tratamento de dados atenda às normas regulatórias

Configuração do modelo

Temperatura

A temperatura controla a aleatoriedade das respostas do modelo. Valores menores produzem resultados mais consistentes e focados, enquanto valores maiores aumentam a criatividade e a variação.

• Baixa (0.0-0.3): respostas determinísticas e consistentes para interações estruturadas
• Média (0.4-0.7): equilíbrio entre criatividade e consistência
• Alta (0.8-1.0): respostas criativas e variadas para conversas dinâmicas

Configuração de LLM de backup

Configure LLMs de backup para garantir a continuidade da conversa quando o LLM principal falhar ou ficar indisponível.

Opções de configuração:

• Padrão: usa a sequência de fallback recomendada pela ElevenLabs
• Personalizada: defina sua própria sequência em cascata de modelos de backup
• Desativada: sem fallback (fortemente desaconselhado para produção)

Saiba mais sobre cascata de LLMs.

Raciocínio

O raciocínio ajuda agentes a lidar com decisões complexas, como escolher entre ferramentas, aplicar políticas ou concluir workflows de várias etapas. Dependendo do modelo, você controla quanto raciocínio ele realiza com um orçamento de pensamento ou nível de esforço de raciocínio.

Orçamento de pensamento

Defina o número máximo de tokens de raciocínio com o controle deslizante numérico. Orçamentos maiores podem aumentar o tempo de resposta. Defina o orçamento como 0 para desativar o pensamento quando o modelo permitir.

Esforço de raciocínio

O esforço de raciocínio controla quanto raciocínio o modelo realiza antes de responder. Os níveis disponíveis dependem do modelo selecionado.

Resumo de raciocínio

Ative o resumo de raciocínio para registrar o raciocínio retornado pelo modelo ao depurar respostas, chamadas de ferramentas ou caminhos de workflow. Ative Resumo de raciocínio nas configurações de LLM do agente ou defina enable_reasoning_summary pela API. A configuração vem desativada por padrão.

Para endpoints personalizados, consulte como a ElevenLabs solicita e armazena o raciocínio.

O conteúdo de raciocínio está sujeito às configurações de retenção e remoção de PII. Você pode acessá-lo pelos seguintes canais:

Limitações

• Solicitar um resumo de raciocínio pode aumentar a latência da resposta. Teste-o antes de ativá-lo em agentes de voz sensíveis à latência.
• Os provedores podem retornar um resumo, texto de pensamento, deltas de raciocínio bruto ou nenhum conteúdo exibível.

Como entender os preços

• Tokens: o uso de LLM geralmente é cobrado com base no número de tokens processados. Como orientação geral para textos em inglês, 100 tokens equivalem aproximadamente a 75 palavras
• Preços de entrada vs. saída: os provedores costumam diferenciar os preços dos tokens de entrada (os dados que você envia ao modelo) e dos tokens de saída (os dados que o modelo gera como resposta)
• Preços de cache:
  • input_cache_read: refere-se ao custo associado à recuperação de dados de entrada processados anteriormente de um cache. O uso de dados em cache pode gerar economia se entradas idênticas forem processadas várias vezes
  • input_cache_write: é o custo associado ao armazenamento de dados de entrada em um cache. Alguns provedores de LLM podem cobrar por essa operação
• Os preços listados neste documento são por 1 milhão de tokens e se baseiam nas informações disponíveis no momento da redação. Esses preços estão sujeitos a alterações pelos provedores de LLM
• Preços de repasse: a ElevenLabs repassa os custos de LLMs de terceiros pela tarifa publicada pelo provedor, sem margem. Modelos Gemini e Claude selecionados seguem os preços regionais (não globais) do Vertex AI, que são aplicados ao tráfego dos EUA e da UE — um aumento de 10% nos tokens de entrada, saída e cache, de acordo com as tarifas regionais do Vertex

Para ver os recursos atuais dos modelos, preços e termos de serviço, consulte a documentação do provedor.

Conformidade com a HIPAA

Certos LLMs disponíveis na nossa plataforma podem ser adequados para uso em ambientes que exigem conformidade com a HIPAA. Consulte a documentação de conformidade com a HIPAA para mais detalhes.

Recursos relacionados

• Integração de LLM personalizado
• Cascata de LLMs
• Otimização de custos

Modelos hospedados pela ElevenLabs

A ElevenLabs oferece acesso a diversos modelos de IA, incluindo modelos selecionados de terceiros hospedados pela ElevenLabs.

Quando um modelo é designado como “Hospedado pela ElevenLabs”, ele é implantado e operado em uma infraestrutura gerenciada pela ElevenLabs. Esses modelos estão hospedados atualmente nos Estados Unidos ou na região da sua implantação empresarial.

Como identificar modelos hospedados pela ElevenLabs

Os modelos hospedados pela ElevenLabs são claramente identificados na interface da ElevenLabs. Procure a designação “Hospedado pela ElevenLabs” ao navegar ou selecionar modelos.

Como seus dados são tratados

Para modelos hospedados pela ElevenLabs, as solicitações são processadas na infraestrutura gerenciada pela ElevenLabs. Isso significa que o provedor original do modelo não recebe, acessa nem processa as entradas e saídas enviadas pela ElevenLabs.

Ao hospedar esses modelos, a ElevenLabs pode oferecer uma experiência consistente e manter o controle sobre a infraestrutura usada para atender às solicitações do modelo.

Perguntas frequentes

Onde os modelos auto-hospedados são hospedados?

Os modelos hospedados pela ElevenLabs estão hospedados atualmente em uma infraestrutura localizada nos Estados Unidos ou na região da sua implantação empresarial.

O provedor original do modelo acessa meus dados ou os metadados do meu uso?

Para modelos hospedados pela ElevenLabs, o desenvolvedor original do modelo nunca recebe suas entradas ou saídas e não tem acesso aos dados sobre a implantação que os processa.

Como sei se um modelo é hospedado pela ElevenLabs?

Os modelos hospedados pela ElevenLabs são claramente identificados na interface da ElevenLabs com a designação “Hospedado pela ElevenLabs”.