AvanzadoModelos personalizados

Groq Cloud

Conecta un agente a un LLM personalizado en Groq Cloud.

Descripción general

Groq Cloud proporciona acceso sencillo a inferencias de IA rápidas y te ofrece rutas de API compatibles con OpenAI en solo unos clics.

Usa modelos disponibles abiertamente líderes como Llama, Mixtral y Gemma como el cerebro de tus agentes de ElevenLabs en unos sencillos pasos.

Elegir un modelo

Para aprovechar toda la potencia de los agentes de ElevenLabs, necesitas usar un modelo compatible con el uso de herramientas y salidas estructuradas. Groq recomienda los siguientes modelos Llama-3.3 por su versatilidad y rendimiento:

  • meta-llama/llama-4-scout-17b-16e-instruct (ventana de contexto de 10 M de tokens) y compatibilidad con 12 idiomas (árabe, inglés, francés, alemán, hindi, indonesio, italiano, portugués, español, tagalo, tailandés y vietnamita)
  • llama-3.3-70b-versatile (ventana de contexto de 128 k | 32.768 tokens de salida máximos)
  • llama-3.1-8b-instant (ventana de contexto de 128 k | 8.192 tokens de salida máximos)

Teniendo esto en cuenta, recomendamos usar meta-llama/llama-4-scout-17b-16e-instruct para tu agente de Agentes de ElevenLabs.

Configura Llama 3.3 en Groq Cloud

1

Ve a console.groq.com/keys y crea una nueva clave de API.

Añadir secreto

2

Cuando tengas tu clave de API, puedes probarla ejecutando el siguiente comando curl:

curl https://api.groq.com/openai/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-d '{
"model": "llama-3.3-70b-versatile",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

Ve a tu agente de IA, desplázate hasta la sección “Secrets” y selecciona “Add Secret”. Después de añadir el secreto, asegúrate de pulsar “Save” para que esté disponible para tu agente.

Añadir secreto

4

Elige “Custom LLM” en el menú desplegable.

Elegir LLM personalizado

5

En la URL del servidor, especifica la ruta de API compatible con OpenAI de Groq: https://api.groq.com/openai/v1. En el ID del modelo, especifica meta-llama/llama-4-scout-17b-16e-instruct como se ha indicado antes y selecciona tu clave de API en el menú desplegable.

Introducir URL

6

Ya puedes hacer clic en “Test AI Agent” para hablar con tu modelo Llama 3.3 personalizado.