高级自定义模型

Groq Cloud

将智能体连接到 Groq Cloud 上的自定义 LLM。

概述

Groq Cloud 可让你轻松使用快速 AI 推理，只需几次点击即可获得与 OpenAI 兼容的 API 端点。

只需几个简单步骤，即可使用 Llama、Mixtral 和 Gemma 等领先的开放可用模型，作为 ElevenLabs 智能体的大脑。

选择模型

要充分发挥 ElevenLabs 智能体的功能，需要使用支持工具使用和结构化输出的模型。Groq 基于多功能性和性能，推荐以下 Llama-3.3 模型：

  • meta-llama/llama-4-scout-17b-16e-instruct（1000 万 token 上下文窗口），支持 12 种语言（阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语和越南语）
  • llama-3.3-70b-versatile（128k 上下文窗口 | 最多 32,768 个输出 token）
  • llama-3.1-8b-instant（128k 上下文窗口 | 最多 8,192 个输出 token）

因此，建议为 ElevenLabs Agents 智能体使用 meta-llama/llama-4-scout-17b-16e-instruct。

在 Groq Cloud 上设置 Llama 3.3

1

前往 console.groq.com/keys，创建新的 API 密钥。

添加密钥

2

获取 API 密钥后，可通过运行以下 curl 命令进行测试：

curl https://api.groq.com/openai/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-d '{
"model": "llama-3.3-70b-versatile",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

前往 AI Agent，向下滚动至 “Secrets” 部分并选择 “Add Secret”。添加密钥后，务必点击 “Save”，让智能体可以使用该密钥。

添加密钥

4

从下拉菜单中选择 “Custom LLM”。

选择自定义 LLM

5

在 Server URL 中指定 Groq 与 OpenAI 兼容的 API 端点：https://api.groq.com/openai/v1。在 Model ID 中指定上文所述的 meta-llama/llama-4-scout-17b-16e-instruct，然后从下拉菜单选择 API 密钥。

输入 URL

6

现在点击 “Test AI Agent”，即可与自定义的 Llama 3.3 模型对话。