AvanzadoModelos personalizados

Together AI

Conecta un agente a un LLM personalizado en Together AI.

Descripción general

Together AI proporciona una nube de aceleración de IA que te permite entrenar, ajustar y ejecutar inferencias en modelos de IA a gran velocidad, con bajo coste y a escala de producción.

Ejecuta al instante más de 200 modelos, incluidos DeepSeek, Llama3, Mixtral y Stable Diffusion, optimizados para ofrecer la máxima latencia, rendimiento y longitud de contexto.

Elegir un modelo

Para aprovechar toda la potencia de ElevenLabs Agents, necesitas usar un modelo compatible con el uso de herramientas y las salidas estructuradas. Together AI admite llamadas a funciones para estos modelos:

  • meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
  • meta-llama/Llama-3.3-70B-Instruct-Turbo
  • mistralai/Mixtral-8x7B-Instruct-v0.1
  • mistralai/Mistral-7B-Instruct-v0.1

Teniendo esto en cuenta, te recomendamos usar al menos meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo para tu agente de ElevenLabs Agents.

Configurar Llama 3.1 en Together AI

1

Ve a api.together.xyz/settings/api-keys y crea una clave de API nueva.

Añadir secreto

2

Cuando tengas tu clave de API, puedes probarla ejecutando el siguiente comando curl:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

Ve a tu agente de IA, desplázate hasta la sección “Secretos” y selecciona “Añadir secreto”. Después de añadir el secreto, asegúrate de pulsar “Guardar” para que esté disponible para tu agente.

Añadir secreto

4

Elige “LLM personalizado” en el menú desplegable.

Elegir LLM personalizado

5

En la URL del servidor, indica la ruta de API compatible con OpenAI de Together AI: https://api.together.xyz/v1. En el ID del modelo, indica meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo, como se ha indicado antes, y selecciona tu clave de API en el menú desplegable.

Introducir URL

6

Ahora puedes hacer clic en “Probar agente de IA” para conversar con tu modelo Llama 3.1 personalizado.