Scribe v2 Realtime
Scribe v2 Realtime 是我们速度最快、准确率最高的实时语音识别模型,现已正式发布。它支持超过 92 种语言,具备业界领先的准确率和低至 150ms 的延迟。在此了解更多。
智能体平台
- 组件通话结束反馈:组件现支持自定义通话结束反馈收集,可选评分和评论字段,让你能直接在智能体对话中收集用户反馈。
- 软超时配置:新增全面的软超时设置,用于控制智能体如何处理对话停顿,并可在轮次和对话层级配置提示词和行为。
- 高级对话筛选:对话端点现支持按通话时长范围、评估参数、数据收集参数和特定工具名称筛选。
- 增强对话反馈:更新对话反馈系统,加入评分和评论等结构化反馈类型,更好地追踪用户体验。
ElevenCreative Studio
- 扩展项目元数据:项目现提供完整的资源追踪,包括视频缩略图、外部音频引用,以及包含音频时长的增强快照信息。
计费
- 增强发票详情:发票响应现通过新的
discounts数组提供详细折扣信息,替代已弃用的discount_percent_off和discount_amount_off字段。subtotal_cents和tax_cents字段可更清晰地展示发票明细。
音乐 API
- 音轨分离延迟优化:已更新音轨分离端点,以更好地处理音频文件,并为处理请求提供更可预测的延迟。
SDK 发布
JavaScript SDK
- v2.23.0 - 将 Speech to Text(Scribe)端点更新为
scribe_realtime,并导出额外的 TypeScript 类型,改善开发体验。 - v2.22.0 - 更新至最新 API 架构变更,包括对话筛选、软超时配置和组件反馈功能。
Python SDK
- v2.22.1 - 将 Speech to Text(Scribe)端点更新为
scribe_realtime,并修复循环导入问题,提升稳定性。 - v2.22.0 - 更新至最新 API 架构变更,包括对话筛选、软超时配置和组件反馈功能。
智能体软件包
- @elevenlabs/client@0.10.0 - 更新实时端点配置并改进文档。
- @elevenlabs/react@0.10.0 - 更新实时端点配置并改进文档。
- @elevenlabs/types@0.2.0 - 更新类型定义以匹配最新 API 架构变更。
- @elevenlabs/react@0.9.2 - 修复小问题并提升稳定性。
- @elevenlabs/convai-widget-embed@0.5.1 - 更新组件嵌入功能,支持通话结束反馈。
- @elevenlabs/convai-widget-core@0.5.1 - 在组件核心中新增通话结束反馈配置。
- @elevenlabs/convai-widget-embed@0.5.0 - 新增自定义通话结束反馈收集支持。
- @elevenlabs/convai-widget-core@0.5.0 - 引入用于处理反馈的
WidgetEndFeedbackConfig和WidgetEndFeedbackType。 - @elevenlabs/client@0.9.2 - 使用最新 API 变更更新客户端配置。
Android SDK
- v0.5.0 - 新增
setVolume和getVolume函数,用于通过编程控制音频;示例应用中包含音量滑动条实现示例。
API
查看 API 变更
已更新端点
智能体平台
对话管理
-
- 新增
call_duration_min_secs查询参数(整数),按最短通话时长筛选对话 - 新增
call_duration_max_secs查询参数(整数),按最长通话时长筛选对话 - 新增
evaluation_params查询参数(字符串数组),按评估条件筛选 - 新增
data_collection_params查询参数(字符串数组),按数据收集参数筛选 - 新增
tool_names查询参数(字符串数组),筛选使用特定工具的对话
- 新增
-
- 现使用具有结构化反馈类型的
ConversationFeedbackRequestModel - 新增
type字段,用于指定反馈类别 - 新增
rating字段,用于数值反馈 - 新增
comment字段,用于文本反馈
- 现使用具有结构化反馈类型的
智能体配置
- 获取智能体组件
- 新增带有
WidgetEndFeedbackConfig的end_feedback字段,用于配置通话结束反馈收集 - 反馈表单支持可选评分和评论字段
- 新增带有
- 获取智能体 & 更新智能体
- 响应架构已更新,包含新的平台配置选项
- 请求架构已增强,包含额外设置字段
轮次和对话配置
-
- 新增
soft_timeout_config字段,用于控制对话中的停顿行为 - 通过
TurnConfigOverride和TurnConfigOverrideConfig新增turn配置覆盖 - 在
TurnConfig中新增initial_wait_time,用于控制初始响应时机 - 可在对话和 workflow 覆盖层级配置
- 新增
测试
ElevenCreative Studio
-
- 新增必填
assets字段,包含视频和外部音频引用 - 引入用于视频资源元数据的
ProjectVideoResponseModel - 引入用于外部音频追踪的
ProjectExternalAudioResponseModel - 引入用于视频缩略图的
ProjectVideoThumbnailSheetResponseModel
- 新增必填
-
- 使用新的
ProjectSnapshotExtendedResponseModel重构响应 - 在快照数据中新增必填
audio_duration_secs字段 - 从
ProjectSnapshotResponseModel中移除character_alignments - 引入用于快照集合的
ProjectSnapshotsResponseModel
- 使用新的
计费
- 获取订阅
- 新增必填
discounts数组,包含DiscountResponseModel条目 - 弃用
discount_percent_off字段(仍可用,但已标记为将移除) - 弃用
discount_amount_off字段(仍可用,但已标记为将移除) - 新增
subtotal_cents字段(整数、可为空),用于税前发票总额 - 新增
tax_cents字段(整数、可为空),用于税额 - 更新发票示例,包含新的折扣和总额字段
- 新增必填
语音转文本
- 转写音频
- 响应架构已更新,包含增强的转写数据
文本转语音
-
- 响应架构已更新,包含增强的时间戳数据
-
- 响应架构已更新,包含增强的时间戳和音色片段数据
音色管理
专业语音克隆(PVC)
- 获取 PVC 示例音频 & 获取 PVC 分离说话人音频
- 已更新用于获取音频样本的响应架构
语言预设
- 语言预设模型现包含
soft_timeout_translation字段,用于本地化软超时消息
API 集成触发器
- 注册新的 API 集合:
convai_api_integration_trigger_connections
弃用项
- 发票字段
discount_percent_off和discount_amount_off已弃用;请改用discounts数组