高级自定义模型

Together AI

将智能体连接到 Together AI 上的自定义 LLM。

概述

Together AI 提供 AI 加速云，可让你以极快速度、低成本和生产级规模训练、微调及运行 AI 模型推理。

可立即运行包括 DeepSeek、Llama3、Mixtral 和 Stable Diffusion 在内的 200 多个模型，并针对延迟、吞吐量和上下文长度进行优化。

选择模型

要充分发挥 ElevenLabs Agents 的功能，需要使用支持工具调用和结构化输出的模型。Together AI 为这些模型支持函数调用：

  • meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
  • meta-llama/Llama-3.3-70B-Instruct-Turbo
  • mistralai/Mixtral-8x7B-Instruct-v0.1
  • mistralai/Mistral-7B-Instruct-v0.1

因此，建议为 ElevenLabs Agents 智能体至少使用 meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo。

在 Together AI 上设置 Llama 3.1

1

前往 api.together.xyz/settings/api-keys，创建新的 API 密钥。

添加密钥

2

获取 API 密钥后，可运行以下 curl 命令进行测试：

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

前往 AI 智能体，向下滚动至“密钥”部分并选择“添加密钥”。添加密钥后，请务必点击“保存”，使智能体可以使用该密钥。

添加密钥

4

从下拉菜单中选择“自定义 LLM”。

选择自定义 LLM

5

在服务器 URL 中指定 Together AI 兼容 OpenAI 的 API 端点：https://api.together.xyz/v1。在模型 ID 中指定前文所述的 meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo，然后从下拉菜单中选择 API 密钥。

输入 URL

6

现在可点击“测试 AI 智能体”，与自定义 Llama 3.1 模型聊天。