配音 v2 API

现可通过 API 使用配音 v2。它可将音频和视频翻译成超过 90 种语言,同时保留每位说话者的音色、语气和节奏。

新的基于项目的 API 将源转录和翻译内容保留为可编辑的 JSON。通过文件或 URL 创建项目,添加一种或多种目标语言,编辑单个转录片段或翻译内容,然后仅重新生成发生变化的区域。按照配音快速入门创建你的第一个配音。

ElevenAgents

  • 对话护栏过滤器:列出对话新增可选的 guardrail_types(GuardrailType[])和 custom_guardrail_names(字符串数组)查询参数。现有对话层级现在还可通过可选的 parent_conversation_id(字符串)进行过滤。
  • 分支差异状态:列出智能体分支新增可选的 include_commit_status(布尔值,默认 false)。启用后,分支摘要会包含可为空的 commits_ahead、commits_behind 和 merged_into_branch_id 字段。
  • 对话和工具控制:客户端覆盖现在支持 max_duration_seconds 和 pronunciation_dictionary_locators。MCP 服务器配置新增 request_meta,用于向工具调用传递 MCP _meta 值;Webhook 工具超时时间现最高支持 300 秒。
  • 通话后分析用量:对话计费新增 analysis 明细,其中包含按功能统计的累计总量和运行快照。转录消息新增 triggered_guardrails,对话轮次新增可选的 producing_llm。

音色

  • 音色搜索过滤器:获取全部音色 v2新增可选的 gender、age、language、accent、use_cases、min_notice_period_days、include_custom_rates、include_live_moderated 和 high_quality 查询参数。

SDK 发布

JavaScript SDK

  • v2.63.0 - 新增实时语音转文本选项,支持次要语言、语言和实体检测、背景音频过滤、日志记录及一次性令牌认证。新增最终转录、实体和无效请求事件;修复未接受条款分发、重复的 audio_format 参数以及包容性 VAD 边界问题。
  • v2.62.0 - 新增配音批量转录更新方法和 DubbingRegenerateResponse;新增对话护栏过滤器、智能体分支提交状态、智能体告警和 MCP requestMeta 支持。创建语言目标不再接受 modelId。
  • v2.61.0 - 新增对话层级过滤、通话后分析计费、触发的护栏元数据、分支合并冲突详情、DTMF 输入脱敏和配音转录上传。移除导出的 OpenAI 实时会话类型和 run_subagent_* 工具结果变体。

Python SDK

  • v2.63.0 - 新增实时语音转文本选项,支持次要语言、语言和实体检测、背景音频过滤、日志记录及一次性令牌认证。新增最终转录、实体和无效请求事件;修复未接受条款分发问题,并且现在会拒绝没有 API 密钥或令牌的连接。
  • v2.62.0 - 新增配音 update_segments 方法和 DubbingRegenerateResponse;新增 guardrail_types、custom_guardrail_names、include_commit_status 和 MCP request_meta 支持。配音片段更新现在使用请求正文模型,创建语言目标不再接受 model_id。
  • v2.61.0 - 新增 parent_conversation_id、分析计费、触发的护栏元数据、分支合并冲突、DTMF 输入脱敏和配音转录上传。移除 OpenAI 实时会话类型和 run_subagent_* 结果模型。

Android SDK

  • v0.12.1 - 修复有意断开纯文本会话时被报告为 ConversationStatus.ERROR 的问题。
  • v0.12.0 - 新增 ConversationConfig.useMediaStream,用于通过 Android 媒体流路由对话音频。远程正常关闭 WebSocket 现在会报告 DisconnectionDetails.Agent,本地发起的关闭则报告 DisconnectionDetails.User。

MCP 服务器

  • v0.12.2 - 修复路径遍历问题。

API

新增端点

配音

  • 批量更新源片段 - PATCH /v1/dubbing/project/{project_id}/transcript/segments
    • 需要 DubbingBulkSegmentUpdateRequest
    • 以原子方式更新源片段文本、说话者或时间信息
    • 返回包含已更新 segments 和 revision 的 DubbingBulkSourceSegmentUpdateResponse
  • 批量更新目标片段 - PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments
    • 需要 DubbingBulkTargetSegmentUpdateRequest
    • 以原子方式更新多个目标片段的翻译内容
    • 返回包含已更新 segments 和 revision 的 DubbingBulkTargetSegmentUpdateResponse

已更新端点

ElevenAgents

  • 列出对话 - GET /v1/convai/conversations
    • 新增可选的 parent_conversation_id(字符串)
    • 新增可选的可重复 guardrail_types(GuardrailType[])和 custom_guardrail_names(字符串数组)
  • 列出智能体分支 - GET /v1/convai/agents/{agent_id}/branches
    • 新增可选的 include_commit_status(布尔值,默认 false)
    • 分支摘要新增可为空的 commits_ahead(整数)、commits_behind(整数)和 merged_into_branch_id(字符串)

音色

  • 获取全部音色 v2 - GET /v2/voices
    • 新增可选的 gender、age 和 accent(字符串)过滤器
    • 新增可选的 language 和 use_cases(字符串数组)过滤器
    • 新增可选的 min_notice_period_days(整数)、include_custom_rates、include_live_moderated 和 high_quality(布尔值)过滤器

架构变更

ElevenAgents

  • 客户端覆盖架构新增 max_duration_seconds(整数)和 pronunciation_dictionary_locators(数组)
  • MCP 服务器输入和输出架构新增 request_meta 映射
  • 智能体平台设置新增 alerting;语言检测新增 only_at_conversation_start(布尔值)
  • AnalysisCharging.last_run 现在为必填且不可为空;累计总量新增必填的 runs(整数)
  • RAG 块响应现在要求包含 content_format 和 document_type