ElevenAgents

  • 新增小组件配置选项:现可在智能体控制面板中为 ElevenAgents 对话小组件使用多项新设置:

    • 可折叠小组件(widget.dismissible):允许用户在对话期间最小化或关闭小组件。
    • 操作指示器(widget.show_agent_status):智能体正在主动使用工具时显示视觉指示器,包含工作中、已完成和错误等不同状态。启用此设置会自动将 agent_tool_request 和 agent_tool_response 添加到智能体的客户端事件中。
    • 对话 ID 显示(widget.show_conversation_id):通话结束后向用户显示对话 ID。对于新建和现有智能体,默认均为 true。
    • 音频标签可见性(widget.strip_audio_tags):在对话转录文本中隐藏音频标签。对于新建和现有智能体,默认均为 true。
    • 语法高亮主题(widget.syntax_highlight_theme):配置转录文本中代码块的高亮显示。支持 null(自动)、light 或 dark。
  • 支持文件夹的智能体测试:列出智能体测试端点现支持将测试整理到文件夹中。新增 parent_folder_id、include_folders 和 sort_mode 查询参数,以便进行筛选列表。测试创建和更新端点接受 parent_folder_id 来将测试分配至文件夹,测试摘要现还包含实体类型、父文件夹路径和子项数量。

  • **workflow say 节点 **:为智能体 workflow 新增 say 节点类型(WorkflowSayNodeModel)。此节点支持 conversation_config、additional_prompt 以及工具和知识库覆盖配置。节点的消息负载使用带区分标识的联合类型,包含两种变体:literal(通过 text 提供静态文本)和 prompt(通过 prompt 由 LLM 生成)。

  • SMB 工具配置:正式定义了 SMBToolConfig 架构,其中 params 对象为必填且带有区分标识。支持的操作类型包括 create、list、search、update 和 delete,分别适用于客户、员工、服务、产品和资产等 SMB 实体类别。

  • 智能体摘要语言:智能体配置新增 summary_language 字段,用于指定对话后摘要的语言。

  • Twilio 通话录音:Twilio 外呼请求正文新增可选的 call_recording_enabled 字段,可启用外呼录音。

  • WhatsApp 消息标志:WhatsApp 账户模型和更新请求新增 enable_messaging 标志,用于控制是否为指定电话号码启用消息功能。

发音词典

  • 一次设置所有规则:新的设置规则端点(POST /v1/pronunciation-dictionaries/{pronunciation_dictionary_id}/set-rules)可在一次调用中替换发音词典的所有现有规则,作为逐项添加或删除规则的替代方案。

  • 规则匹配选项:发音词典规则定义新增 case_sensitive(布尔值)和 word_boundaries(布尔值)字段,可更精确地控制规则如何匹配文本。

音乐

  • 上传音频:新的上传音乐端点(POST /v1/music/upload)接受包含音频文件的 multipart/form-data 请求。可选择从上传的音频中提取作曲方案,并返回包含 song_id 的 MusicUploadResponse。

  • 语音名称支持:生成音乐、生成音乐(详细)和流式生成音乐端点新增 use_phonetic_names 参数。

  • 响应中的歌曲 ID:音乐生成响应现会提供 song_id 字段,便于在后续 API 调用中引用生成的歌曲。

Audio Native

  • 通过 URL 更新项目内容:新的更新内容端点(POST /v1/audio-native/content)允许通过提供 URL 更新 AudioNative 项目。该端点会从 URL 提取内容,并将其排队等待转换和自动发布。

音色

  • 音色收藏:音色更新请求新增 bookmarked 字段,音色响应对象新增 is_bookmarked 字段,用户可收藏音色以便快速访问。

SDK 发布

JavaScript SDK

  • v2.37.0 - 新增在音乐生成响应中提供 song_id 的支持。已更新以包含 Fern 重新生成后的最新 API 架构变更。

Python SDK

  • v2.37.0 - 新增对音乐生成新参数的支持,并在音乐生成响应中提供 song_id。已更新以包含 Fern 重新生成后的最新 API 架构变更。

软件包

  • @elevenlabs/convai-widget-core@0.10.0 - 在转录和流式回调中传递 event_id。将工具状态跟踪从基于 Map 重构为内联转录条目,并新增 display-transcript 工具。新增 show-conversation-id 配置选项(布尔值,默认 true),用于控制断开连接消息中对话 ID 的可见性。
  • @elevenlabs/convai-widget-embed@0.10.0 - 在转录和流式回调中传递 event_id。将工具状态跟踪重构为内联转录条目。
  • @elevenlabs/types@0.6.0 - 在转录和流式回调中传递 event_id。

API

新端点

  • 设置发音词典规则 - POST /v1/pronunciation-dictionaries/{pronunciation_dictionary_id}/set-rules - 一次调用替换发音词典中的所有规则
  • 上传音乐 - POST /v1/music/upload - 上传音频文件以创建或引用歌曲,也可选择提取作曲方案
  • 通过 URL 更新 Audio Native 内容 - POST /v1/audio-native/content - 从提供的 URL 提取内容并排队转换,以更新 AudioNative 项目

更新的端点

ElevenAgents

  • 列出智能体测试

    • 新增 parent_folder_id 查询参数(字符串,可选),用于按文件夹筛选测试
    • 新增 include_folders 查询参数(布尔值,可选),用于在结果中包含文件夹对象
    • 新增 sort_mode 查询参数(字符串,可选),用于控制结果排序
    • 响应现包含文件夹元数据:UnitTestSummaryResponseModel 中的实体类型、父路径和子项数量
  • 创建智能体测试、更新智能体测试

    • 新增 parent_folder_id 字段(字符串,可选),用于将测试分配到文件夹
  • 创建智能体、更新智能体、获取智能体

    • 智能体配置新增 summary_language 字段(字符串,可选),用于指定对话后摘要语言
    • 新增 widget.dismissible(布尔值)- 允许用户折叠或关闭小组件
    • 新增 widget.show_agent_status(布尔值)- 在小组件中显示工具使用状态指示器
    • 新增 widget.show_conversation_id(布尔值)- 通话结束后显示对话 ID;默认值为 true
    • 新增 widget.strip_audio_tags(布尔值)- 在转录文本中隐藏音频标签;默认值为 true
    • 新增 widget.syntax_highlight_theme(字符串,可为空)- 代码块高亮主题(null、light 或 dark)
    • 新增 workflow 节点类型 say,采用 WorkflowSayNodeModel 架构,包括 conversation_config、additional_prompt 以及工具/知识库覆盖配置;消息负载支持 literal 和 prompt 两种带区分标识的变体
  • Twilio 外呼

    • 新增 call_recording_enabled 字段(布尔值,可选),用于启用 Twilio 外呼录音
  • 更新 WhatsApp 账户

    • 新增 enable_messaging 字段(布尔值,可选),用于启用或禁用账户消息功能
  • 更新 webhook

    • 新增 schema_overrides 字段(对象,可选),用于自定义 webhook 负载架构

发音词典

音乐

音色

架构变更

新架构

  • WorkflowSayNodeModel - 用于智能体 say 操作的 workflow 节点,包含对话配置、提示词和工具覆盖配置
  • WorkflowSayNodeMessageLiteral - say 节点的字面量(静态文本)消息负载
  • WorkflowSayNodeMessagePrompt - say 节点基于提示词(由 LLM 生成)的消息负载
  • MusicUploadResponse - 包含 song_id 的音乐上传响应模型
  • SMBToolConfigCreateClientParams、SMBToolConfigListClientsParams、SMBToolConfigSearchClientsParams、SMBToolConfigUpdateClientParams、SMBToolConfigDeleteClientParams - SMB 工具操作的带区分标识参数类型

修改的架构

  • AgentConfig - 新增 summary_language 字段
  • WidgetConfigV2 - 新增 dismissible、show_agent_status、show_conversation_id、strip_audio_tags 和 syntax_highlight_theme 字段
  • SMBToolConfig - params 字段现为必填,且使用带区分标识的联合类型
  • PronunciationDictionaryRule - 新增 case_sensitive 和 word_boundaries 字段
  • CustomGuardrailConfig - model 字段现为可选,并具有默认值
  • UnitTestSummaryResponseModel - 新增文件夹元数据字段:实体类型、父路径、子项数量