Groq Cloud

Groq Cloud의 사용자 지정 LLM에 에이전트를 연결하세요.

개요

Groq Cloud는 빠른 AI 추론에 간편하게 액세스할 수 있도록 몇 번의 클릭만으로 OpenAI 호환 API 엔드포인트를 제공합니다.

몇 가지 간단한 단계로 Llama, Mixtral, Gemma 같은 선도적인 공개 모델을 ElevenLabs 에이전트의 두뇌로 사용하세요.

모델 선택

ElevenLabs 에이전트의 모든 기능을 활용하려면 도구 사용과 구조화된 출력을 지원하는 모델을 사용해야 합니다. Groq는 다재다능함과 성능을 위해 다음 Llama-3.3 모델을 권장합니다.

meta-llama/llama-4-scout-17b-16e-instruct(1,000만 토큰 컨텍스트 윈도우) 및 12개 언어 지원(아랍어, 영어, 프랑스어, 독일어, 힌디어, 인도네시아어, 이탈리아어, 포르투갈어, 스페인어, 타갈로그어, 태국어, 베트남어)
llama-3.3-70b-versatile(128k 컨텍스트 윈도우 | 최대 출력 토큰 32,768개)
llama-3.1-8b-instant(128k 컨텍스트 윈도우 | 최대 출력 토큰 8,192개)

이를 고려하면 ElevenLabs Agents 에이전트에는 meta-llama/llama-4-scout-17b-16e-instruct를 사용하는 것이 좋습니다.

Groq Cloud에서 Llama 3.3 설정하기

console.groq.com/keys로 이동해 새 API 키를 만드세요.

API 키를 받으면 다음 curl 명령어를 실행해 테스트할 수 있습니다.

curl https://api.groq.com/openai/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-d '{
"model": "llama-3.3-70b-versatile",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'

AI Agent로 이동해 아래로 스크롤하여 “Secrets” 섹션에서 “Add Secret”을 선택하세요. 시크릿을 추가한 후 “Save”를 클릭하여 에이전트에서 시크릿을 사용할 수 있도록 하세요.

드롭다운 메뉴에서 “Custom LLM”을 선택하세요.

Server URL에 Groq의 OpenAI 호환 API 엔드포인트 https://api.groq.com/openai/v1를 지정하세요. Model ID에는 위에서 설명한 대로 meta-llama/llama-4-scout-17b-16e-instruct를 지정하고, 드롭다운 메뉴에서 API 키를 선택하세요.

이제 “Test AI Agent”를 클릭해 사용자 지정 Llama 3.3 모델과 대화할 수 있습니다.