推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

全新上线:变声器

发布时间

收听收听本文

Voice Changer 最初名为语音转语音。在 AI 语音智能体的语境中,“语音转语音”也指由单一模型直接处理音频输入和输出的融合式架构。ElevenAgents 在平台中采用先进的级联式架构。了解更多:级联模型与融合模型。

变声器

我们已将 变声器 添加到语音合成中。变声器是一款语音转换工具,可将一种声音的录音转换为仿佛由另一种声音说出的效果,同时保留原始演绎。这意味着录音中的情感、时机、节奏和发音都会保留到输出音色中。

这样,你就能获得仅靠 文本转语音提示词不一定能实现的控制力。主要有两种使用方式。

让声音表达更多情感。 并非所有音色都能同样有效地响应文本转语音提示词中的情感指引。变声器可让你录制或上传富有表现力的语音,并用不同音色复现这种 情感范围。如果你想让专业旁白听起来更温暖,或让儿童读物角色更活泼,可以自行演绎,再由变声器将这种表达方式转移到目标音色。

微调语音表达。 我们的文本转语音模型通常能很好地处理语调。但当你需要精确控制某个短语的表达方式——重音落在哪里、停顿如何呈现、节奏听起来怎样——变声器可让你先用自己的声音示范,再将这种表达应用到任意选择的音色。待我们将变声器直接集成到 Studio 后,它会更加实用,但目标始终不变:让你精确控制输出效果。

以下是我们一位社区成员的演示:

研究

要将源语音转换为目标语音,需要用目标语音的特征来表达源语音内容。一个有用的类比是换脸:应用会获取两张脸并将它们融合,在一张脸的映射结构中呈现另一张脸的特征。

实现方式是获取一张人脸图像并映射其属性。下例中的标记正是如此——它们界定了另一张脸将在其中呈现的范围。

Comparison of facial recognition and facial mapping technology.
Audio waveform with a corresponding speech transcription in a visual format.

语音转换的关键在于,使用目标语音的音素来呈现源语音内容。但这与换脸示例一样存在权衡:用于映射一张脸属性的标记越多,对在其中映射的另一张脸施加的约束就越多。标记越少,约束也越少。

语音转换也是如此。越偏重目标语音,就越可能与源语音不同步;但如果偏重得不够,又可能丢失让该语音独具特征的大部分要素。例如,若要用轻声细语的音色来呈现某人愤怒喊叫的录音,就会面临难题。过度偏重源语音的情感,代价就是失去轻声细语的音色印象;过度强调轻声细语的说话模式,则会失去源语音的情感张力。

产品与近期更新

预设音色调整

我们正在调整语音合成中默认提供的音色。我们将停用部分音色,并以新音色替换;未来几周计划新增超过 20 个音色。

我们还将开始在 UI 中说明各音色预计可用的时长。整个 12 月,我们将改进声音分享和使用补偿功能,以增加音色多样性。更多详情即将公布。

Eleven Turbo v2 与 uLaw 8khz 格式

Turbo v2 是团队历经数月研究的成果。它专为实时交互设计,也适用于各种使用场景。同时支持适用于 IVR 系统的标准(m)uLaw 8kHz 格式。

Studio 中的标准化与元数据

Studio 现已支持行业标准的 有声书提交规范,包括增益调整和动态压缩。你还可以直接在 Studio 项目中嵌入元数据(ISBN、作者和标题)。

发音词典

这是用户需求最高的功能之一。上个月,我们为英语模型新增了 SSML 标签支持,可通过 IPA 和 CMU 词典指定发音。现在,我们已在 Studio UI 中推出 发音词典支持,你可上传文件,通过 IPA、CMU 或词语替换(别名)指定发音。词典文件采用行业标准的开放式 .PLS 词汇文件格式。

Turbo v2 English 目前支持 IPA 和 CMU。所有模型和语言均支持词语替换。完整文档见 此处。

Upload area for a Lexicon file with instructions to click or drag and drop a .pls/.txt/.xml file, size limit 1.5MB.
Pronunciation diary

如有任何反馈,欢迎随时在 Discord 上联系我们!

试用变声器

按你想要的方式说出来,再以完全不同的音色聆听呈现效果,并全面掌控表达。捕捉耳语、笑声、口音和细微的情感线索。

按自己的方式说话,再以截然不同的声音呈现,并能完全掌控演绎效果。捕捉耳语、笑声、口音和细微的情感线索。

相关内容

用高质量 AI 音频创作