ErweitertBenutzerdefinierte Modelle

Groq Cloud

Verbinden Sie einen Agenten mit einem benutzerdefinierten LLM in Groq Cloud.

Überblick

Groq Cloud bietet einfachen Zugriff auf schnelle KI-Inferenz und stellt Ihnen mit wenigen Klicks OpenAI-kompatible API-Endpunkte bereit.

Nutzen Sie führende öffentlich verfügbare Modelle wie Llama, Mixtral und Gemma als Gehirn für Ihre ElevenLabs-Agenten – in wenigen einfachen Schritten.

Modell auswählen

Um das volle Potenzial von ElevenLabs-Agenten zu nutzen, benötigen Sie ein Modell, das Tool-Nutzung und strukturierte Ausgaben unterstützt. Groq empfiehlt aufgrund ihrer Vielseitigkeit und Leistung die folgenden Llama-3.3-Modelle:

  • meta-llama/llama-4-scout-17b-16e-instruct (10 Mio. Token Kontextfenster) mit Unterstützung für 12 Sprachen (Arabisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Italienisch, Portugiesisch, Spanisch, Tagalog, Thai und Vietnamesisch)
  • llama-3.3-70b-versatile (128k Kontextfenster | 32.768 maximale Output-Tokens)
  • llama-3.1-8b-instant (128k Kontextfenster | 8.192 maximale Output-Tokens)

Daher wird für Ihren ElevenLabs-Agents-Agenten meta-llama/llama-4-scout-17b-16e-instruct empfohlen.

Llama 3.3 in Groq Cloud einrichten

1

Öffnen Sie console.groq.com/keys und erstellen Sie einen neuen API-Schlüssel.

Secret hinzufügen

2

Sobald Sie Ihren API-Schlüssel haben, können Sie ihn mit dem folgenden curl-Befehl testen:

curl https://api.groq.com/openai/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-d '{
"model": "llama-3.3-70b-versatile",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

Öffnen Sie Ihren KI-Agenten, scrollen Sie zum Bereich „Secrets“ und wählen Sie „Add Secret“. Klicken Sie nach dem Hinzufügen des Secrets auf „Save“, damit es für Ihren Agenten verfügbar ist.

Secret hinzufügen

4

Wählen Sie im Dropdown-Menü „Custom LLM“.

Benutzerdefiniertes LLM auswählen

5

Geben Sie für die Server-URL den OpenAI-kompatiblen API-Endpunkt von Groq an: https://api.groq.com/openai/v1. Geben Sie für die Modell-ID wie oben beschrieben meta-llama/llama-4-scout-17b-16e-instruct an und wählen Sie Ihren API-Schlüssel im Dropdown-Menü aus.

URL eingeben

6

Klicken Sie jetzt auf „Test AI Agent“, um mit Ihrem benutzerdefinierten Llama-3.3-Modell zu chatten.