Changelog

May 25, 2026

推出 Speech Engine

ElevenLabs Speech Engine 可为自有聊天智能体或 LLM 添加实时语音功能。ElevenLabs 负责语音转文本、轮次管理、文本转语音和浏览器播放，服务器则负责智能体逻辑，并通过 Speech Engine WebSocket 流式传输回复文本。若想在自定义运行环境中使用语音，而不是采用完全托管的 ElevenAgents 配置，可使用此功能。

快速入门

几分钟内即可使用 Speech Engine SDK 构建支持语音的智能体。

智能体技能

为集成 Speech Engine 的 AI 编程助手提供指南。

API 参考文档

通过 REST API 创建、更新和管理 Speech Engine 资源。

ElevenAgents

  • 文本行为覆盖：新增 text_behavior_overrides，这是一个按 ConversationInitiationSource 划分的 BehaviorOverride 对象映射，其中包含可选的 verbosity、output_format 和 interaction_budget 字段，用于针对不同渠道调整智能体行为。
  • 集成来源：新增 Intercom、Telegram 和 Freshdesk。
  • OTLP 对话追踪：获取对话详情 现接受可选的 format 查询参数。将 format=otlp_traces 设为此值，可在标准对话载荷之外返回兼容 OTLP 的追踪数据。
  • ASR 关键词覆盖：新增 ASRConversationalConfigOverride 和 ASRConversationalConfigOverrideConfig 架构，包含可选的 keywords 数组，并已接入对话配置客户端覆盖模型。
  • Webhook 身份验证元数据：Webhook 工具配置架构现提供可选的 auth_resolved_params（字符串数组），用于说明从身份验证连接解析的 URL 占位符。

音乐

  • 生成模式：新增 MusicGenerationMode（track、loop、ambience），并在音乐提示词请求正文中新增可选的 generation_mode 字段。
  • 视频转音乐模型：视频转音乐（POST /v1/music/video-to-music）现接受可选的 model_id（字符串，默认值为 music_v1）。

ElevenCreative Studio

  • 转换积分：章节和音色转换统计响应模型现包含可选的 credits_needed_to_convert（整数），表示转换前所需的积分。

工作区

  • 资源类型：WorkspaceResourceType 新增 studio_projects。

SDK 发布

Python SDK

  • v2.50.0 - 已根据 2026 年 5 月 25 日的 API 架构重新生成 SDK。
  • v2.49.1 - 已更新 Speech Engine API 调用，使其返回完整响应对象。
  • v2.49.0 - 已根据 2026 年 5 月 18 日至 25 日的 API 架构重新生成 SDK，包括 ElevenAgents 文本行为覆盖、音乐 generation_mode 和工作区 studio_projects。

JavaScript SDK

  • v2.50.0 - 新增缺失的音乐 API 方法和测试，并根据 2026 年 5 月 25 日的 API 架构重新生成 SDK。
  • v2.49.1 - 已更新 Speech Engine API 调用，使其返回完整响应对象。
  • v2.49.0 - 已根据 2026 年 5 月 18 日至 25 日的 API 架构重新生成 SDK，包括 ElevenAgents 文本行为覆盖、音乐 generation_mode 和工作区 studio_projects。

软件包

API

已更新的端点和架构

ElevenAgents

  • 获取对话详情 - GET /v1/convai/conversations/{conversation_id}
    • 新增可选的 format 查询参数；otlp_traces 返回兼容 OTLP 的追踪数据
  • 智能体配置架构
    • 新增以 ConversationInitiationSource 为键、以 BehaviorOverride 为值（verbosity、output_format、interaction_budget）的 text_behavior_overrides 映射
  • ConversationInitiationSource 枚举
    • 新增 intercom_integration、telegram_integration 和 freshdesk_integration
  • ASR 覆盖架构
    • 新增 ASRConversationalConfigOverride 和 ASRConversationalConfigOverrideConfig，包含可选的 keywords（字符串数组）
  • Webhook 工具架构
    • Webhook 配置模型新增可选的 auth_resolved_params（字符串数组）

音乐

  • 视频转音乐 - POST /v1/music/video-to-music
    • 新增可选的 model_id（字符串，默认值为 music_v1）
  • 音乐提示词请求架构
    • 新增可选的 generation_mode，引用 MusicGenerationMode（track、loop、ambience）

ElevenCreative Studio

  • 章节和音色转换统计架构
    • 新增可选的 credits_needed_to_convert（整数）

工作区

  • WorkspaceResourceType 枚举
    • 新增 studio_projects