ElevenAgents

  • 环境变量 API:新增 环境变量 端点,用于管理工作区级配置,智能体可在运行时通过 {{system_env__<label>}} 模板引用。支持字符串、密钥和身份验证连接变量类型,并可为各环境覆盖变量值。端点包括 创建、列出、获取 和 更新。

  • 身份验证连接管理:新增工作区级身份验证连接 API,用于管理智能体工具和集成使用的身份验证凭据。支持多种身份验证方式,包括 OAuth2 客户端凭据、JWT、基本身份验证、Bearer 令牌、自定义请求头,以及由集成管理的 OAuth2 授权码流程。端点支持创建、列出和删除操作。

  • 知识库 URL 刷新:新增 刷新 端点(POST /v1/convai/knowledge-base/{documentation_id}/refresh),用于重新获取和更新来自 URL 的知识库文档内容。知识库文档现也支持通过 enable_auto_sync、auto_remove 和 auto_sync_info 字段配置自动同步。

  • 带反馈的护栏重试:自定义护栏和内容护栏现支持可配置的 触发操作,提供 EndCallTriggerAction 和 RetryTriggerAction 选项。设置为重试时,智能体会注入系统反馈并重新生成回复,最多尝试 3 次。可使用 {{trigger_reason}} 和 {{agent_message}} 占位符提供上下文重试指引。

  • 对话历史系统变量:新增 system__conversation_history 动态变量,可在运行时提供延迟求值、JSON 序列化的对话历史。适合将完整对话上下文传递给工具、Webhook 或子智能体交接。

  • Webhook 工具内容类型:服务器工具现支持为 Webhook 正文参数配置 内容类型,可选择 application/json 或 application/x-www-form-urlencoded 格式。URL 编码格式适合与旧版系统、OAuth 令牌端点和支付处理器集成。

  • WhatsApp 外发消息:更新 WhatsApp 集成,在控制台中新增 外发消息对话框,让智能体除了可通过 WhatsApp 渠道拨打电话外,还可发送外发消息。

  • 智能体和资源列表筛选:列出智能体、列出知识库文档 和 列出工具 端点现支持 created_by_user_id 查询参数(当前用户使用 @me)。原有的 show_only_owned_agents 和 show_only_owned_documents 参数已弃用。

  • 工作流条件表达式:工作流表达式架构新增 conditional_operator AST 节点,支持在智能体工作流定义中使用分支逻辑。

音乐

  • 音乐市场:新增 音乐市场 文档,介绍 AI 生成音乐的授权市场,包括使用类型、创作者分成和授权详情。

SDK 发布

Python SDK

  • v2.40.0 - 为 ElevenAgents 对话新增 environment 参数支持,可连接特定环境的智能体。通过 Fern 重新生成以匹配最新 API 架构,包括环境变量、身份验证连接、知识库刷新和护栏触发操作。

JavaScript SDK

  • v2.40.0 - 为 ElevenAgents 实时对话新增 multimodal_message WebSocket 事件类型。通过 Fern 重新生成以匹配最新 API 架构,包括环境变量、身份验证连接、知识库刷新和护栏触发操作。

iOS SDK

  • v3.1.1 - 新增 environment 参数支持,可连接特定环境的智能体。将平台要求提升至 v2,修复 visionOS 构建错误。

软件包

软件包 v1.0.0 候选发布版

ElevenAgents 客户端 SDK v1.0.0 的首个候选发布版现已推出。这是一次重大版本更新,包含不兼容变更,可改进 API 设计、增加更细粒度的 React hooks 以提升渲染性能,并统一 React Native SDK 与 React SDK。

试用候选发布版:

npm install @elevenlabs/client@next @elevenlabs/react@next @elevenlabs/react-native@next

现提供 elevenlabs:sdk-migration 技能,帮助 AI 编程助手自动将代码库迁移至新 API。将其添加到 Claude Code、Cursor 或 Windsurf 项目,即可获得引导式迁移支持。

v1.0.0 的主要变更:

  • @elevenlabs/client:Conversation 现为命名空间对象和 TextConversation | VoiceConversation 的类型别名,不再是类。Input 和 Output 类已替换为 InputController 和 OutputController 接口,并在对话实例上新增便捷方法(setMicMuted()、setVolume()、getInputByteFrequencyData()、getOutputByteFrequencyData())。changeInputDevice() 和 changeOutputDevice() 现返回 void。
  • @elevenlabs/react:useConversation 现需要上级 ConversationProvider。新增用于细粒度重新渲染的 hooks:useConversationControls()、useConversationStatus()、useConversationInput()、useConversationMode()、useConversationFeedback()。新增 useConversationClientTool() hook,可从 React 组件动态注册客户端工具,并提供完整类型安全。
  • @elevenlabs/react-native:全面重写 API,以 ConversationProvider 和与 @elevenlabs/react 相同的细粒度 hooks 替换 ElevenLabsProvider 和 useConversation。导入时会自动应用 WebRTC polyfill 和原生 AudioSession 配置。

查看完整发布说明和迁移指南:

API

新增端点

ElevenAgents

  • 创建环境变量 - POST /v1/convai/environment-variables - 创建字符串、密钥或身份验证连接类型的新环境变量
  • 列出环境变量 - GET /v1/convai/environment-variables - 列出工作区中的所有环境变量
  • 获取环境变量 - GET /v1/convai/environment-variables/{env_var_id} - 获取特定环境变量
  • 更新环境变量 - PATCH /v1/convai/environment-variables/{env_var_id} - 更新环境变量,包括通过 null 移除特定环境的值
  • 刷新 URL 文档内容 - POST /v1/convai/knowledge-base/{documentation_id}/refresh - 重新获取来自 URL 的知识库文档内容

工作区

  • POST /v1/workspace/auth-connections - 创建工作区身份验证连接,支持 OAuth2、JWT、基本身份验证、Bearer、自定义请求头及由集成管理的身份验证方式
  • GET /v1/workspace/auth-connections - 列出所有工作区身份验证连接及其依赖信息(工具、MCP 服务器、集成连接)
  • DELETE /v1/workspace/auth-connections/{auth_connection_id} - 删除工作区身份验证连接

语音转文本

  • GET /v1/speech-to-text/evaluation/eval-criteria - 列出评估标准
  • POST /v1/speech-to-text/evaluation/eval-criteria - 创建评估标准
  • GET /v1/speech-to-text/evaluation/eval-criteria/{criterion_id} - 获取特定评估标准
  • PATCH /v1/speech-to-text/evaluation/eval-criteria/{criterion_id} - 更新评估标准
  • DELETE /v1/speech-to-text/evaluation/eval-criteria/{criterion_id} - 删除评估标准
  • POST /v1/speech-to-text/evaluation/evaluations - 触发评估
  • GET /v1/speech-to-text/evaluation/evaluations - 列出评估
  • GET /v1/speech-to-text/evaluation/evaluations/{evaluation_id} - 获取特定评估
  • GET /v1/speech-to-text/evaluation/human-agents - 列出人工坐席
  • GET /v1/speech-to-text/evaluation/human-agents/{agent_id} - 获取人工坐席
  • DELETE /v1/speech-to-text/evaluation/human-agents/{agent_id} - 删除人工坐席
  • GET /v1/speech-to-text/evaluation/analytics - 获取评估分析数据
  • GET /v1/speech-to-text/evaluation/eval-criteria/{criterion_id}/analytics - 获取特定评估标准的分析数据
  • GET /v1/speech-to-text/evaluation/human-agents/{agent_id}/analytics - 获取特定人工坐席的分析数据

更新的端点

ElevenAgents

  • 获取签名 URL、获取对话令牌

    • 新增 environment 查询参数(字符串,可选),用于特定环境解析
  • 列出智能体

    • 新增 created_by_user_id 查询参数(字符串,可选,支持 @me)
    • 弃用 show_only_owned_agents,请改用 created_by_user_id
  • 列出知识库文档

    • 新增 created_by_user_id 查询参数(字符串,可选,支持 @me)
    • 弃用 show_only_owned_documents,请改用 created_by_user_id
  • 列出工具

    • 新增 created_by_user_id 查询参数(字符串,可选,支持 @me)
    • 弃用 show_only_owned_documents,请改用 created_by_user_id
  • 获取知识库分块

    • 新增 embedding_model 查询参数(字符串,可选),用于指定分块检索的嵌入模型
  • 创建智能体、更新智能体、创建草稿

    • 新增 guardrail_trigger_action 支持,包含 EndCallTriggerAction 和 RetryTriggerAction 架构
    • 在工作流表达式定义中新增 conditional_operator AST 节点
    • 智能体架构现支持 ConvAIEnvVarLocator 和 EnvironmentAuthConnectionLocator,可在工具配置中引用环境变量
  • SIP 中继外呼

    • 已更新请求架构,以支持新的环境相关字段
  • 模拟对话、模拟对话流

    • 请求架构新增 simulation_environment 字段

架构变更

新增架构

  • ConvAIEnvironmentVariable、ConvAIEnvironmentVariableCreate、ConvAIEnvironmentVariableUpdate - 支持字符串、密钥和身份验证连接类型的环境变量模型
  • ConvAIEnvVarLocator、EnvironmentAuthConnectionLocator - 用于在工具和 MCP 服务器配置中引用环境变量的定位器
  • EndCallTriggerAction、RetryTriggerAction - 用于结束通话和带反馈重试行为的护栏触发操作架构
  • ConditionalOperator - 用于智能体工作流条件表达式的新 AST 节点
  • AuthConnectionCreateRequest、AuthConnectionResponse、AuthConnectionDependencies - 工作区身份验证连接管理架构,支持 OAuth2、JWT、基本身份验证、Bearer、自定义请求头、WhatsApp 和由集成管理的身份验证方式
  • SpeechToTextEvaluation* - 用于语音转文本评估标准、评估、人工坐席和分析数据的一组架构

修改的架构

  • MCPServerConfig、MCPServerConfigOutput - 新增对服务器配置中 ConvAIEnvVarLocator 引用的支持
  • CustomGuardrailConfig - 新增 trigger_action 字段,用于配置结束通话或重试行为
  • Contributor - 新增可选 bio(字符串)和 profile_id(字符串)字段
  • ASTLLMNode - 新增 value_schema 字段;prompt 字段已弃用,请改用 value_schema
  • TelephonyDirection - 重构为由多个对话和电话模型引用的共享枚举