ElevenAgents、ElevenCreative 和 ElevenAPI

我们正从单一产品认知(“ElevenLabs”)转向基于平台的架构,并明确划分产品系列:

  • ElevenAgents(原智能体平台)
  • ElevenCreative(原创意平台)
  • ElevenAPI(新推出的开发者平台)

文档和 SDK README 中已经体现这些变化。

全球服务器结束 beta 阶段

全球路由现为默认设置,无需再选择加入。

此前,默认的 ElevenLabs API 服务器位于美国,用户可选择加入 beta,通过位于荷兰或新加坡的服务器路由流量。现在全球路由已成为默认设置,系统会根据地理距离自动选择服务器,以优化延迟。

可选的基础 URL api-global-preview.elevenlabs.io 现已弃用,请改用默认基础 URL api.elevenlabs.io。如果使用 SDK,这已是默认设置。

文本转语音

  • TTS Normalizer v3.1:文本规范化器已升级至 3.1 版本,提高文本转语音的准确性并降低延迟。

智能体平台

  • 自定义护栏:新增对用户定义输出护栏的支持,可创建超出标准审核范围的自定义内容过滤规则。可通过名称、提示词指令(最多 10,000 个字符)和评估模型(gemini-2.5-flash-lite 或 gemini-2.0-flash)配置护栏。触发后,护栏将结束对话。配置详情请参阅创建智能体 API 参考文档。
  • WhatsApp 外发消息:新增发送外发消息端点(POST /v1/convai/whatsapp/outbound-message),可使用消息模板通过 WhatsApp 发起对话。必填字段包括 whatsapp_phone_number_id、whatsapp_user_id、template_name、template_language_code、template_params 和 agent_id。
  • Eleven v3 对话模型:为智能体可用的 TTS 模型新增 eleven_v3_conversational,提高智能体对话的语音质量和表现力。
  • 建议音频标签:为使用 v3 模型的智能体在 TTS 配置中新增 suggested_audio_tags 字段。最多可定义 20 个标签(例如“happy”“excited”)来引导表现性语音生成,并可选填每个标签的适用说明。
  • 工具错误处理:在 webhook 工具配置中新增 tool_error_handling_mode 字段,选项包括:auto(默认,根据工具类型决定处理方式)、summarized(发送由 LLM 生成的摘要)、passthrough(发送原始错误)或 hide(不与智能体共享错误)。
  • 动态变量清理:在 DynamicVariableAssignment 中新增 sanitize 字段(布尔值,默认 false)。启用后,赋值会继续用于变量赋值处理,但其值将从工具响应和转录中移除。
  • 轮次模型选择:新增 TurnModel 枚举,包含 turn_v2 和 turn_v3 选项,用于选择轮次检测模型版本。
  • 工作流节点转移:在 AgentTransfer schema 中新增 is_workflow_node_transfer 字段(布尔值,默认 false),用于识别工作流节点内的转移。
  • 转移分支元数据:新增 TransferBranchInfoTrafficSplit 和 TransferBranchInfoDefaultingToMain schema,用于追踪智能体转移中的分支路由信息。
  • 工作流节点转换测试:新增 workflow_node_transition 单元测试断言类型,并提供 UnitTestWorkflowNodeTransitionEvaluationNodeId schema 来验证智能体工作流转换。

ElevenCreative Studio

  • 静音轨道端点:新增获取项目静音轨道端点(GET /v1/studio/projects/{project_id}/muted-tracks),返回项目中包含静音轨道的章节 ID 列表。

工作区

  • Lite 成员席位类型:在 SeatType 枚举中新增 workspace_lite_member,适用于访问权限受限的工作区。
  • 内容模板资源:在 WorkspaceResourceType 枚举中新增 content_templates,用于在工作区内共享内容模板。

用户界面

  • 音色合集滚动:修复 macOS 上音色合集图标选择器无法使用鼠标滚轮和触控滚动的问题。

SDK 发布

Python SDK

  • v2.35.0 - 新增自定义护栏、WhatsApp 外发消息、工具错误处理模式、动态变量清理、轮次模型选择和 Eleven v3 对话模型支持

JavaScript SDK

  • v2.35.0 - 新增自定义护栏、WhatsApp 外发消息、工具错误处理模式、动态变量清理、轮次模型选择和 Eleven v3 对话模型支持

React 和客户端 SDK

API

新增端点

已更新端点

智能体平台

  • 创建智能体、更新智能体、获取智能体
    • 在 GuardrailsV1 schema 中新增 custom 字段,用于自定义护栏配置
    • 在 GuardrailsV1 schema 中新增 alignment 字段,用于对齐护栏
    • 在 TTS 对话配置中新增 suggested_audio_tags 字段(SuggestedAudioTag 数组,最多 20 项)
    • 在 TTSConversationalModel 枚举中新增 eleven_v3_conversational
  • 创建工具、更新工具
    • 在 ApiIntegrationWebhookToolConfig 中新增 tool_error_handling_mode 字段(枚举:auto、summarized、passthrough、hide,默认 auto)
    • 在 DynamicVariableAssignment 中新增 sanitize 字段(布尔值,默认 false)

工作区

Schema 变更

新增 Schema

  • CustomGuardrail-Input、CustomGuardrail-Output - 自定义护栏配置容器
  • CustomGuardrailsConfig - 自定义护栏列表的配置容器
  • CustomGuardrailConfig - 单个自定义护栏,包含 name(字符串、必填)、prompt(字符串、必填、最多 10,000 个字符)、model(枚举:gemini-2.5-flash-lite、gemini-2.0-flash,必填)和 is_enabled(布尔值,默认 false)
  • ToolErrorHandlingMode - 工具错误处理枚举:auto、summarized、passthrough、hide
  • TurnModel - 轮次检测模型版本枚举:turn_v2、turn_v3
  • SuggestedAudioTag - 音频标签配置,包含 tag(字符串、必填、最多 30 个字符)和 description(字符串、可选、最多 200 个字符)
  • TransferBranchInfoTrafficSplit - 流量拆分转移的分支信息,包含 branch_id 和 traffic_percentage
  • TransferBranchInfoDefaultingToMain - 默认转移至主分支的分支信息,包含 branch_id
  • UnitTestWorkflowNodeTransitionEvaluationNodeId - 工作流节点转换测试配置,包含 agent_id 和 target_node_id
  • ProjectMutedTracksResponseModel - 包含 chapter_ids 数组的响应模型
  • WhatsAppOutboundMessageResponse - WhatsApp 外发消息端点的响应
  • WhatsAppTemplateHeaderComponentParams、WhatsAppTemplateBodyComponentParams、WhatsAppTemplateButtonComponentParams - WhatsApp 消息的模板参数 schema
  • ConversationHistoryTranscriptSystemToolResultCommonModel-Input、ConversationHistoryTranscriptSystemToolResultCommonModel-Output - 分别用于输入和输出变体的系统工具结果模型

修改的 Schema

  • GuardrailsV1-Input、GuardrailsV1-Output - 新增 custom(CustomGuardrail)和 alignment(AlignmentGuardrail)字段
  • TTSConversationalConfig-Input、TTSConversationalConfig-Output - 新增 suggested_audio_tags 字段
  • TTSConversationalModel - 新增 eleven_v3_conversational 枚举值
  • ApiIntegrationWebhookToolConfig-Input、ApiIntegrationWebhookToolConfig-Output - 新增 tool_error_handling_mode 字段(必填)
  • DynamicVariableAssignment - 新增 sanitize 字段(布尔值,默认 false)
  • AgentTransfer - 新增 is_workflow_node_transfer 字段(布尔值,默认 false)
  • SeatType - 新增 workspace_lite_member 枚举值
  • WorkspaceResourceType - 新增 content_templates 枚举值

已移除 Schema

  • AgentBan - 移除未使用的 schema
  • BanReasonType - 移除未使用的枚举
  • DubbingReleaseChannel - 移除未使用的枚举