Groq Cloud

Anslut en agent till en anpassad LLM i Groq Cloud.

Översikt

Groq Cloud ger enkel åtkomst till snabb AI-inferens och ger dig OpenAI-kompatibla API-slutpunkter med bara några klick.

Använd ledande öppet tillgängliga modeller som Llama, Mixtral och Gemma som hjärnan i dina ElevenLabs-agenter i några enkla steg.

Välja en modell

För att använda hela kraften i ElevenLabs-agenter behöver du använda en modell som stöder verktygsanvändning och strukturerade utdata. Groq rekommenderar följande Llama-3.3-modeller för deras mångsidighet och prestanda:

meta-llama/llama-4-scout-17b-16e-instruct (kontextfönster på 10 miljoner token) och stöd för 12 språk (arabiska, engelska, franska, tyska, hindi, indonesiska, italienska, portugisiska, spanska, tagalog, thailändska och vietnamesiska)
llama-3.3-70b-versatile (128k kontextfönster | högst 32 768 utdata-token)
llama-3.1-8b-instant (128k kontextfönster | högst 8 192 utdata-token)

Därför rekommenderar vi meta-llama/llama-4-scout-17b-16e-instruct för din ElevenLabs Agents-agent.

Konfigurera Llama 3.3 i Groq Cloud

Gå till console.groq.com/keys och skapa en ny API-nyckel.

När du har din API-nyckel kan du testa den genom att köra följande curl-kommando:

curl https://api.groq.com/openai/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-d '{
"model": "llama-3.3-70b-versatile",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'

Gå till din AI-agent, skrolla ner till avsnittet “Secrets” och välj “Add Secret”. När du har lagt till hemligheten måste du klicka på “Save” för att göra den tillgänglig för din agent.

Välj “Custom LLM” i rullgardinsmenyn.

För server-URL:en anger du Groqs OpenAI-kompatibla API-slutpunkt: https://api.groq.com/openai/v1. För modell-ID:t anger du meta-llama/llama-4-scout-17b-16e-instruct enligt ovan och väljer din API-nyckel i rullgardinsmenyn.

Nu kan du klicka på “Test AI Agent” för att chatta med din anpassade Llama 3.3-modell.