AvançadoModelos personalizados

Together AI

Conecte um agente a um LLM personalizado no Together AI.

Visão geral

O Together AI oferece uma nuvem de aceleração de IA que permite treinar, ajustar e executar inferências em modelos de IA com alta velocidade, baixo custo e em escala de produção.

Execute instantaneamente mais de 200 modelos, incluindo DeepSeek, Llama3, Mixtral e Stable Diffusion, otimizados para máxima latência, capacidade de processamento e comprimento de contexto.

Como escolher um modelo

Para aproveitar todo o potencial do ElevenLabs Agents, você precisa usar um modelo compatível com uso de ferramentas e saídas estruturadas. O Together AI oferece suporte a chamadas de função para estes modelos:

  • meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
  • meta-llama/Llama-3.3-70B-Instruct-Turbo
  • mistralai/Mixtral-8x7B-Instruct-v0.1
  • mistralai/Mistral-7B-Instruct-v0.1

Com isso em mente, recomendamos usar pelo menos meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo para seu agente do ElevenLabs Agents.

Configure o Llama 3.1 no Together AI

1

Acesse api.together.xyz/settings/api-keys e crie uma nova chave de API.

Adicionar segredo

2

Depois de obter sua chave de API, você poderá testá-la executando o seguinte comando curl:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

Acesse seu Agente de IA, role até a seção “Segredos” e selecione “Adicionar segredo”. Depois de adicionar o segredo, não deixe de clicar em “Salvar” para disponibilizá-lo ao seu agente.

Adicionar segredo

4

Escolha “LLM personalizado” no menu suspenso.

Escolher LLM personalizado

5

No URL do servidor, informe o endpoint da API compatível com OpenAI do Together AI: https://api.together.xyz/v1. No ID do modelo, informe meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo, como mencionado acima, e selecione sua chave de API no menu suspenso.

Inserir URL

6

Agora você pode clicar em “Testar Agente de IA” para conversar com seu modelo Llama 3.1 personalizado.