Eleven v4
我们最新、最先进的文本转语音模型。
Eleven v4 是我们最新、最先进的文本转语音模型,也是新一代模型的首款产品。相比 Eleven v3,它在输出质量、音色准确度、一致性、情感、演绎、音频标签和语言覆盖范围方面均有提升。
总体而言,Eleven v4 是对 Eleven v3 的全面升级,几乎所有场景都能带来更好的效果。强烈建议切换到 v4,并使用自己的音色和内容进行测试,亲自感受差异。尽管少数边缘场景可能更适合其他模型,但多数用户会发现 v4 是更好的选择。
有关标签、标点和对话提示词,请参阅 提示 Eleven v4。
语音克隆
Eleven v4 在语音克隆准确度方面实现了重大突破。克隆音色比以往任何模型都更忠实地还原源音色的特征——音色质感、节奏和演绎方式。
Eleven v4 中的即时语音克隆(IVC)比以往更加准确。它能更忠实地捕捉源音色的关键特征,让你能通过简短音频样本快速创建逼真的克隆音色。
即时语音克隆在 Eleven v4 中迎来重大升级,整体准确度明显提升。 如果还没试过,现在正适合用自己的 音频进行测试。
Eleven v4 完全支持专业语音克隆(PVC)。它同样受益于音色准确度的提升,为需要最高一致性和控制力的 workflow 提供更忠实的源音色还原。
由于准确度大幅跃升,Eleven v4 的声音可能与 Eleven v3 有明显不同。Eleven v3 为 Eleven v4 奠定了基础,尤其注重演绎和准确度;Eleven v4 则在此基础上显著提高了音色准确度。因此,Eleven v4 旨在更忠实地捕捉源音色,但你可能仍会更喜欢音色在 Eleven v3 中的表现。准确度和个人偏好并不总是一致,因此建议使用自己的内容对比两个版本,选择最适合用例的版本。
Eleven v4 能更忠实地再现源音色的特征,包括口音、演绎、响度及其他独特品质,因此源录音质量比以往更加重要。清晰、干净的训练音频有助于 Eleven v4 准确捕捉音色,避免引入不需要的声音或特征。背景噪音、失真或其他录音问题都可能影响结果。
我们仍在试验 Eleven v4,以了解如何发挥其最佳效果。目前看来,它更擅长捕捉细腻的音频特征,尤其是在训练音频较多时,例如专业语音克隆。随着继续测试如何利用更多样的数据集控制模型,我们关于使用多样化训练数据的建议可能会调整。目前建议在训练音频中保持单一说话风格,Eleven v4 应能比早期模型更好地捕捉这种风格。
原生口音处理
这是 Eleven v4 相比所有旧模型最大的变化之一,值得充分了解。
当生成语言与参考音色的语言一致时,原始口音会和以前一样完整保留。
当生成语言与参考音色的语言不同时,Eleven v4 会生成流利、自然的目标语言语音,而不会保留参考音色原始语言的口音。
实际而言:如果克隆一位韩语使用者的音色并生成英语,Eleven v4 将生成自然流利的英语,而不是带有韩语口音的英语。这让每种音色都能用于所有支持的语言,尤其适合配音、多语言内容,以及需要通过单一音色服务不同语言用户的语音智能体。
如果 workflow 依赖音色在其他语言中保留其原生口音,请在迁移前直接使用 Eleven v4 测试此行为——这是跨语言生成方式的有意调整,不是 bug。
不过,这项新功能仍在持续优化中。我们正在探索将它改为可切换功能,而非始终启用。这仍是一个研究项目,目前没有时间表或更多相关信息。
模型变体
Eleven v4 提供两个变体,可根据用例选择合适的质量与速度平衡:
- Eleven v4 (
eleven_v4) —— 我们质量最高的模型,适合内容创作、有声书、角色旁白配音,以及任何将质量放在首位的用例。 - Eleven v4 Turbo (
eleven_v4_turbo) —— 在保持极低延迟的同时提供极高质量,专为对话式智能体和交互式语音体验等实时用例打造。
两个变体均使用两项音色设置:稳定性和相似度。
稳定性控制不同生成结果之间的演绎一致性。较低的值可带来更具表现力、更多变化的演绎;较高的值则让表现更接近固定基准。
相似度控制输出与参考音色的贴合程度。较高的值会更严格地贴合参考音色,但可能会牺牲部分自然感。
选择专业语音克隆和 Eleven v4 时,音色设置会额外提供 克隆强度 滑块。克隆强度控制输出对克隆训练录音的贴合程度。较低的值会略微平滑音色,并让演绎拥有更高的表现灵活性,通常整体听起来更好,同时仍保留原始音色。较高的值会减少平滑处理,使输出更贴近训练录音,更准确地模仿原始音色的演绎和表现。较高的值尤其适合具有鲜明特质或独特口音的音色。对于大多数音色,建议从 0% 开始。
Eleven v4 不提供风格和速度滑块,也不支持 SSML。
音频标签(例如 [whispering]、[shouting]、[laughing])可让你精细控制演绎方式,Eleven v4 对这些标签的处理细腻程度超越以往模型。它们目前还不够完美,我们会持续迭代改进模型遵循标签指令的可靠性——这是持续投入的重点领域,效果会不断提升。
示例展示
这些示例均为原始音频,未经过重度后期处理:没有均衡、压缩、 标准化、齿音处理、爆破音移除或类似处理。如果听到反复出现的问题,例如 削波、爆破音、均衡不均或音量跳变,它们很可能存在于该音色的训练数据中。 Eleven v4 模型只是将它们捕捉出来,因为它即使在捕捉 缺陷时也非常准确。我们未对音频做任何处理,以便你听到模型生成的原始效果。
语音克隆准确度
每个示例都从声音库预览开始。随后我们选取一段文本,分别使用该音色的即时语音克隆,在 Eleven v3 和 Eleven v4 中生成。
这并非完美对比。Eleven v4 还支持专业语音克隆,可进一步提高匹配度。不过,为了更公平地比较,我们在 Eleven v3 和 Eleven v4 中均使用即时语音克隆。
这些示例展示了模型捕捉到多少原始音色特征。需要注意的是,这还包括音频的均衡、质量、音量,以及爆破音、刺耳齿音和音量波动等其他细节与瑕疵。
依次试听预览、Eleven v3 和 Eleven v4。
音色 NfUrCNRReUL9RXS9upG1。
音色 HBDoL4wkcalemIO0nUAu。
语音演绎
这些是 Eleven v4 的生成结果。文本中的音频标签会指引演绎方式。
音色 EkK5I93UQWFDigLMpZcX。
音色 t7VaN65ClS2VrEUwk1nR。
有声书
这是 Eleven v4 的旁白。标签设定了场景的节奏和氛围。
音色 KHRvDizAHFVPzoSehNY6。
模型将持续演进
Eleven v4 正在积极、持续地开发中。发布后,我们会继续训练和改进模型,随着质量提升,其行为可能会随时间变化。建议随着模型演进定期重新测试用例,我们也会在重要更新推出时分享相关信息。
常见问题
Eleven v4 支持哪些语言?
Eleven v4 模型系列支持 90 多种语言,包括:
南非荷兰语(af)、阿姆哈拉语(am)、阿拉伯语(ar)、亚美尼亚语(hy)、阿萨姆语(as)、阿斯图里亚斯语(ast)、阿塞拜疆语(az)、白俄罗斯语(be)、孟加拉语(bn)、波斯尼亚语(bs)、保加利亚语(bg)、缅甸语(my)、粤语(yue)、加泰罗尼亚语(ca)、宿务语(ceb)、克罗地亚语(hr)、捷克语(cs)、丹麦语(da)、荷兰语(nl)、英语(en)、爱沙尼亚语(et)、菲律宾语(fil)、芬兰语(fi)、法语(fr)、富拉语(普拉尔语)(ff)、加利西亚语(gl)、格鲁吉亚语(ka)、德语(de)、希腊语(el)、古吉拉特语(gu)、豪萨语(ha)、希伯来语(he)、印地语(hi)、匈牙利语(hu)、冰岛语(is)、印度尼西亚语(id)、意大利语(it)、日语(ja)、爪哇语(jv)、坎巴语(kam)、卡纳达语(kn)、哈萨克语(kk)、韩语(ko)、吉尔吉斯语(ky)、老挝语(lo)、拉脱维亚语(lv)、林加拉语(ln)、立陶宛语(lt)、卢干达语(lg)、卢森堡语(lb)、马其顿语(mk)、马来语(ms)、马拉雅拉姆语(ml)、马耳他语(mt)、普通话(zh)、毛利语(mi)、马拉地语(mr)、蒙古语(mn)、尼泊尔语(ne)、挪威语(no)、奥克语(oc)、奥里亚语(or)、普什图语(ps)、波斯语(fa)、波兰语(pl)、葡萄牙语(pt)、旁遮普语(pa)、罗马尼亚语(ro)、俄语(ru)、塞尔维亚语(sr)、绍纳语(sn)、信德语(sd)、斯洛伐克语(sk)、斯洛文尼亚语(sl)、索马里语(so)、索拉尼库尔德语(ckb)、西班牙语(es)、斯瓦希里语(sw)、瑞典语(sv)、塔吉克语(tg)、泰米尔语(ta)、泰卢固语(te)、泰语(th)、土耳其语(tr)、乌克兰语(uk)、乌尔都语(ur)、乌兹别克语(uz)、越南语(vi)、威尔士语(cy)、沃洛夫语(wo)、祖鲁语(zu)。
克隆音色会保留口音吗?
当参考音色和生成语音使用相同语言时,会 保留该音色的口音。例如,如果克隆某人带有特定英语口音的英语语音, 并生成英语语音,该口音将被保留。
能让音色用原始口音说另一种语言吗?
默认情况下,当生成语言不同于参考音色的语言时,Eleven v4 会以目标语言生成流利、自然的语音,而不是保留 参考口音。你可以尝试使用音频标签引导口音或演绎风格,但结果 可能有所不同,因此请测试具体音色和用例。
Eleven v4 克隆音色会和其 Eleven v3 版本听起来一样吗?
总体而言,Eleven v4 对源音色特征的还原远比 Eleven v3 准确,包括音色质感、节奏、演绎和其他表现特征。因此,Eleven v4 克隆音色通常会更接近源音色,也可能与其 Eleven v3 版本有很大不同。
需要训练 Eleven v4 吗?
应在 Eleven v4 中使用声音设计吗?
声音设计音色可用于 Eleven v4,但其表现力或音质可能不如 早期模型。