配音 v2 API
现可通过 API 使用配音 v2。它可将音频和视频翻译成超过 90 种语言,同时保留每位说话者的音色、语气和节奏。
新的基于项目的 API 将源转录和翻译内容保留为可编辑的 JSON。通过文件或 URL 创建项目,添加一种或多种目标语言,编辑单个转录片段或翻译内容,然后仅重新生成发生变化的区域。按照配音快速入门创建你的第一个配音。
ElevenAgents
- 对话护栏过滤器:列出对话新增可选的
guardrail_types(GuardrailType[])和custom_guardrail_names(字符串数组)查询参数。现有对话层级现在还可通过可选的parent_conversation_id(字符串)进行过滤。 - 分支差异状态:列出智能体分支新增可选的
include_commit_status(布尔值,默认false)。启用后,分支摘要会包含可为空的commits_ahead、commits_behind和merged_into_branch_id字段。 - 对话和工具控制:客户端覆盖现在支持
max_duration_seconds和pronunciation_dictionary_locators。MCP 服务器配置新增request_meta,用于向工具调用传递 MCP_meta值;Webhook 工具超时时间现最高支持 300 秒。 - 通话后分析用量:对话计费新增
analysis明细,其中包含按功能统计的累计总量和运行快照。转录消息新增triggered_guardrails,对话轮次新增可选的producing_llm。
音色
- 音色搜索过滤器:获取全部音色 v2新增可选的
gender、age、language、accent、use_cases、min_notice_period_days、include_custom_rates、include_live_moderated和high_quality查询参数。
SDK 发布
JavaScript SDK
- v2.63.0 - 新增实时语音转文本选项,支持次要语言、语言和实体检测、背景音频过滤、日志记录及一次性令牌认证。新增最终转录、实体和无效请求事件;修复未接受条款分发、重复的
audio_format参数以及包容性 VAD 边界问题。 - v2.62.0 - 新增配音批量转录更新方法和
DubbingRegenerateResponse;新增对话护栏过滤器、智能体分支提交状态、智能体告警和 MCPrequestMeta支持。创建语言目标不再接受modelId。 - v2.61.0 - 新增对话层级过滤、通话后分析计费、触发的护栏元数据、分支合并冲突详情、DTMF 输入脱敏和配音转录上传。移除导出的 OpenAI 实时会话类型和
run_subagent_*工具结果变体。
Python SDK
- v2.63.0 - 新增实时语音转文本选项,支持次要语言、语言和实体检测、背景音频过滤、日志记录及一次性令牌认证。新增最终转录、实体和无效请求事件;修复未接受条款分发问题,并且现在会拒绝没有 API 密钥或令牌的连接。
- v2.62.0 - 新增配音
update_segments方法和DubbingRegenerateResponse;新增guardrail_types、custom_guardrail_names、include_commit_status和 MCPrequest_meta支持。配音片段更新现在使用请求正文模型,创建语言目标不再接受model_id。 - v2.61.0 - 新增
parent_conversation_id、分析计费、触发的护栏元数据、分支合并冲突、DTMF 输入脱敏和配音转录上传。移除 OpenAI 实时会话类型和run_subagent_*结果模型。
Android SDK
- v0.12.1 - 修复有意断开纯文本会话时被报告为
ConversationStatus.ERROR的问题。 - v0.12.0 - 新增
ConversationConfig.useMediaStream,用于通过 Android 媒体流路由对话音频。远程正常关闭 WebSocket 现在会报告DisconnectionDetails.Agent,本地发起的关闭则报告DisconnectionDetails.User。
MCP 服务器
- v0.12.2 - 修复路径遍历问题。
API
查看 API 变更
新增端点
配音
- 批量更新源片段 -
PATCH /v1/dubbing/project/{project_id}/transcript/segments- 需要
DubbingBulkSegmentUpdateRequest - 以原子方式更新源片段文本、说话者或时间信息
- 返回包含已更新
segments和revision的DubbingBulkSourceSegmentUpdateResponse
- 需要
- 批量更新目标片段 -
PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments- 需要
DubbingBulkTargetSegmentUpdateRequest - 以原子方式更新多个目标片段的翻译内容
- 返回包含已更新
segments和revision的DubbingBulkTargetSegmentUpdateResponse
- 需要
已更新端点
ElevenAgents
- 列出对话 -
GET /v1/convai/conversations- 新增可选的
parent_conversation_id(字符串) - 新增可选的可重复
guardrail_types(GuardrailType[])和custom_guardrail_names(字符串数组)
- 新增可选的
- 列出智能体分支 -
GET /v1/convai/agents/{agent_id}/branches- 新增可选的
include_commit_status(布尔值,默认false) - 分支摘要新增可为空的
commits_ahead(整数)、commits_behind(整数)和merged_into_branch_id(字符串)
- 新增可选的
音色
- 获取全部音色 v2 -
GET /v2/voices- 新增可选的
gender、age和accent(字符串)过滤器 - 新增可选的
language和use_cases(字符串数组)过滤器 - 新增可选的
min_notice_period_days(整数)、include_custom_rates、include_live_moderated和high_quality(布尔值)过滤器
- 新增可选的
架构变更
ElevenAgents
- 客户端覆盖架构新增
max_duration_seconds(整数)和pronunciation_dictionary_locators(数组) - MCP 服务器输入和输出架构新增
request_meta映射 - 智能体平台设置新增
alerting;语言检测新增only_at_conversation_start(布尔值) AnalysisCharging.last_run现在为必填且不可为空;累计总量新增必填的runs(整数)- RAG 块响应现在要求包含
content_format和document_type