ElevenAgents

  • **agent_response_complete WebSocket 事件 **:当智能体的回复完全交付时,新的 agent_response_complete 客户端事件会准确触发一次——即所有 LLM 生成、工具调用链和音频播放完成后。此事件后,只有在用户提供新输入或轮次超时触发新轮次时,智能体才会继续输出。客户端可借此可靠检测轮次结束,以便批量处理消息、激活唤醒词或在轮次结束后更新 UI。ClientEvent 枚举新增 AGENT_RESPONSE_COMPLETE 值,以及对应的 AgentResponseCompleteClientEvent 响应模型。

  • 工具调用前语音模式:在 MCP 服务器配置和每个工具的覆盖配置中新增 pre_tool_speech 字段(PreToolSpeechMode 枚举,默认值为 auto)。该字段取代现已弃用的 force_pre_tool_speech 布尔值。取值包括:auto 根据近期工具延迟决定智能体是否在调用工具前说话;force 始终要求智能体说话;off 则完全禁用此行为。

  • 工具分发遵循执行模式:workflow 工具分发节点现在能正确遵循每个嵌套工具的 execution_mode。如果分发节点中的任一工具使用 POST_TOOL_SPEECH,workflow 会等待当前轮次的音频完全输出后再执行分发。

  • MCP 响应超时:在 MCP 服务器配置和每个工具的覆盖配置中新增 response_timeout_secs 字段(整数,默认值 30,最小值 5,最大值 120),用于控制等待每次 MCP 工具调用完成的最长时间。

  • 智能体信任上下文:在智能体平台设置中新增 trust_context 字段(AgentTrustContext 枚举:unknown | low | high,默认值 unknown)。low 适用于服务不受信任外部参与者的智能体,此类智能体的输出应经过审核,工具访问权限也应受到限制;high 适用于服务所有者的智能体,可获得完整工具访问权限;unknown 则涵盖此功能推出前创建的智能体。

  • 来源归因开关:在对话配置中新增 source_attribution 布尔值(默认值 false)。启用后,如果存在知识库内容,系统会指示 LLM 报告其使用了哪些来源。

  • 测试共享模式筛选器:列出测试端点现在接受 sharing_mode 查询参数(all | shared_with_me,默认值 all),可将测试和文件夹筛选为仅显示当前用户未创建、但与其共享的内容。

  • 工具图标和执行元数据:Tool schema 新增 icons(Icon 数组)和 execution(ToolExecution)字段。Icon 包含用于 UI 显示的 src、mimeType 和 sizes,而 ToolExecution.taskSupport(forbidden | optional | required)声明该工具如何参与任务。

  • 过程编译器默认值:ProcedureCompilerMode 的默认值已从 deterministic 更改为 append,并移除了 llm 值。明确设置了 deterministic 的现有智能体不受影响。

  • RAG 和知识库归因元数据:在 ConversationHistoryTranscriptCommonModel 和 ConversationHistoryTranscriptResponseModel 中新增 used_static_kb_document_ids(字符串数组),并在 RagRetrievalInfo 中新增 used_chunk_ids,用于准确显示哪些知识库文档和 RAG 分块参与了每个转录轮次。

  • 动态变量重构:dynamic_variables 和 dynamic_variable_placeholders 现引用统一的 DynamicVariableValueType-Input / DynamicVariableValueType-Output schema(替换原有的 DynamicVariableContainerValueType-* schema),并更广泛支持嵌套值和列表值。DynamicVariableAssignment 新增 preserve_native_type 字段,用于保留类型化值而不是将其强制转换为字符串。

音频分离

  • 历史记录端点:两个新端点可查看音频分离历史记录。

语音转文本

  • 实时关键词和逐字转录模式:Scribe 实时 WebSocket现在接受 keyterms 参数(字符串数组,最多 50 项,每项最多 20 个字符),用于让模型倾向识别特定术语;还接受 no_verbatim 布尔值,用于从转录文本中移除填充词、重复起句和不流畅表达。这两个参数都会在 session_started 事件中回显。已在 JavaScript SDK、Python SDK 和 @elevenlabs/client 浏览器/Node 客户端 SDK 中提供。

SDK 发布

Python SDK

  • v2.45.0 - 针对 2026 年 4 月 27 日 API schema 的 Fern 重新生成,包括音频分离历史记录端点、工具执行、MCP pre_tool_speech 和 response_timeout_secs,以及 agent_response_complete 客户端事件。还修复了 README 中的 notebook 安装提示。
  • v2.44.0 - 针对 2026 年 4 月 21 日 API schema 的 Fern 重新生成,包含 trust_context 字段、pre_tool_speech 模式、资产转录支持和 MCP 响应超时配置。

JavaScript SDK

  • v2.45.0 - 在 Scribe 实时客户端中新增 keyterms(字符串数组,最多 50 个关键词,每个最多 20 个字符)和 noVerbatim(布尔值)选项。keyterms 会作为 WebSocket URL 上的重复查询参数发送,以倾向特定转录结果;noVerbatim 会移除填充词和不流畅表达。这两个字段也已添加到用于 session_started 回显的类型化 Config 接口中。还包括 2026 年 4 月 27 日的 Fern 重新生成(#376)。
  • v2.44.0 - 针对 2026 年 4 月 21 日 API schema 的 Fern 重新生成,包含 trust_context 字段、pre_tool_speech 模式和 MCP 响应超时配置。

Swift SDK

  • v3.1.4 - 修复了智能体断开连接后(静默超时或 end_call 工具),本地麦克风仍持续发布的问题。onAgentDisconnected 现在会断开 LiveKit 房间并清理对话状态,随后 onDisconnect 会触发 .agent 原因。ConnectionManaging.onAgentDisconnected 现在为 async。移除了未使用的 ConversationConnectionManager 包装器。

软件包

API

新端点

更新的端点

ElevenAgents

  • 创建智能体、获取智能体、更新智能体

    • 在 AgentPlatformSettingsRequestModel 中新增 trust_context 字段(AgentTrustContext 枚举:unknown | low | high,默认值 unknown)
    • 在 ConversationConfig 中新增 source_attribution 字段(布尔值,默认值 false)
  • 更新 MCP 服务器配置、创建 MCP 服务器

    • 新增 pre_tool_speech 字段(PreToolSpeechMode 枚举:auto | force | off,默认值 auto)
    • 新增 response_timeout_secs 字段(整数,默认值 30,最小值 5,最大值 120)
  • 创建配置覆盖、更新配置覆盖

    • 新增 pre_tool_speech 字段(PreToolSpeechMode 枚举,可为 null,可选)
    • 新增 response_timeout_secs 字段(整数,可为 null,可选)
    • 在 MCPToolConfigOverride-Input / MCPToolConfigOverride-Output 中新增 response_mocks 字段
    • 将 force_pre_tool_speech 标记为已弃用;请改用 pre_tool_speech
  • 列出测试

    • 新增可选的 sharing_mode 查询参数(TestSharingMode 枚举:all | shared_with_me,默认值 all)
  • 模拟对话、流式模拟对话

    • 重构 dynamic_variables 和 dynamic_variable_placeholders 载荷,使其引用统一的 DynamicVariableValueType-Input / DynamicVariableValueType-Output schema,并提供更广泛的嵌套值和列表值支持
  • Tool schema

    • 新增用于 UI 显示的 icons 字段(Icon 数组,可为 null)
    • 新增 execution 字段(ToolExecution,可为 null),包含 taskSupport(forbidden | optional | required)
  • ClientEvent 枚举

    • 新增 agent_response_complete 值,以及新的 AgentResponseCompleteClientEvent 响应模型
  • ProcedureCompilerMode 枚举

    • 默认值从 deterministic 改为 append
    • 移除 llm 值
  • ConversationHistoryTranscriptCommonModel、ConversationHistoryTranscriptResponseModel

    • 新增 used_static_kb_document_ids 字段(字符串数组)
  • RagRetrievalInfo

    • 新增 used_chunk_ids 字段(字符串数组)
  • DynamicVariableAssignment

    • 新增 preserve_native_type 字段(布尔值),用于保留类型化值而不是将其强制转换为字符串
  • Workflow 节点

    • 在相关 workflow 节点 schema 中新增 auto_advance_after_first_response 字段
  • 工具配置文档

    • 新增 response_body_schema 字段,用于记录预期响应结构

工作区

  • GetUserSubscriptionResponseModel

    • 新增 max_credit_limit_extension 字段
  • 按产品获取工作区一段时间内的使用情况

    • 收紧请求验证:start_time 和 end_time 的最小值提高至 2020-01-01,并为两个字段添加说明。端点摘要已重命名为 Get Workspace Usage。

其他

  • 新增共享 Currency 枚举,包含 eur、inr、usd 值,取代多个 schema 中的内联货币字符串。
  • 新增 AssetTranscription 和 AssetTranscriptionData schema,为资产模型扩展转录支持。
  • 新增 PendingBlocksMetadataModel 和 PendingExternalAudiosMetadataModel,为待处理任务提供更丰富的元数据。
  • 在与来源相关的枚举中新增 InVPC 值。
  • 转录 keyterms 现在在规范中具有明确的长度限制。
  • 新增 MemoryEntrySearchResult、ConversationSource 和 ManualSource schema。