跳到导航

专业语音克隆

了解如何使用我们的顶尖模型进行专业语音克隆。

专业语音克隆功能

创建专业语音克隆

克隆语音时,务必考虑 AI 的训练数据:涵盖哪些语言,以及使用何种类型的数据集。请在模型页面了解各个模型及其优势。

指南

如果不确定哪些行为在法律上被允许,请参阅服务条款和我们的 AI 安全 信息了解更多。

1

前往专业语音克隆页面

在 ElevenLabs 侧边栏中,点击 音色 旁的加号按钮以打开声音创建页面,然后点击 专业语音克隆 下方的 新建。

2

上传音频

专业语音克隆目前不支持歌唱。录音必须仅包含语音。

创建新的专业语音克隆

点击 上传样本,上传音频样本。

如果还没有预先录制的训练音频,也可以选择 自行录制,直接在界面中录音。我们提供了适用于叙述、对话和广告的示例脚本,你也可以上传自己的脚本。

3

查看样本时长反馈

上传音频后,系统会显示样本时长反馈。为获得最佳效果,建议上传至少 1 小时的训练音频,最好尽量接近 3 小时。

创建新的专业语音克隆

4

处理音频

上传音频样本后,可以处理音频以提升质量。你可以去除背景噪声;如果音频中有多位说话者,也可以分离不同说话者。要访问这些选项,请点击要处理的片段旁的 音频设置 按钮。

创建新的专业语音克隆

5

验证语音

完成录制和上传后,系统会要求你验证语音。为确保过程顺利,请尽量使用与录制样本时相同或类似的设备进行验证,并采用与样本相近的语气和表达方式。如果无法使用相同设备,也请尽力完成验证。如验证失败,你可以等待 24 小时后再次尝试,或联系支持团队寻求帮助。

6

等待语音完成微调

使用语音前,需先完成微调。处理期间,可在“我的音色”中查看语音状态。可用时会通知你。

7

使用语音克隆

在控制台的 音色 区域,选择 个人 标签页,然后点击语音克隆旁的 使用 即可开始使用。

开始上传样本前,有一些注意事项和步骤可帮助你获得最佳效果。

1

录制高质量音频

专业语音克隆能高度准确地克隆用于训练的样本。它会近乎完美地复现听到的内容,包括语音的所有细节和特征,也包括样本中的瑕疵与不需要的音频。这意味着,如果上传包含背景噪声、房间混响/回声,或音乐、多人说话等其他不需要声音的低质量样本,AI 也会尝试在克隆中复现这些元素。

Eleven v4 比早期模型更忠实地捕捉原始录音,包括背景噪声、失真和其他瑕疵。因此,此模型更需要清晰的训练音频。

2

确保只有一个说话声音

确保整段音频中只有一个说话声音,因为多个说话者、过多噪声或上述任何情况都可能让 AI 感到混乱。这可能导致 AI 无法判断应克隆哪个声音,或因声音被其他声音掩盖而误判其实际听感,最终得到效果不够理想的克隆。

3

提供足够的素材

确保有足够素材来正确克隆语音。建议的最低时长为 30 分钟音频;为获得最佳效果和最准确的克隆,建议提供接近 2—3 小时的音频。提供的音频越多,最终克隆质量越好。

4

保持风格一致

你提供的样本中的说话风格会在输出中复现,因此训练数据应与所需表达风格相符(例如,如果想用自己的语音克隆为有声书配音,提交的训练音频应是你以希望使用的语调朗读书籍的录音)。为保持一致性,最好在上传样本中只包含一种风格。Eleven v4 比早期模型更能准确捕捉这种单一说话风格。

5

使用 PVC 所需语言的语音样本

最好使用你以 PVC 主要使用语言说话的样本。当然,AI 可以说我们目前支持的任何语言。但请注意,如果语音本身不是 AI 所需说语言的母语——也就是说,你克隆的是使用另一种语言的声音——它可能带有原始语言的口音,也可能误读单词和语调。例如,如果克隆一个说英语的声音,然后希望它在 Eleven v4 之前的模型上说西班牙语,它说西班牙语时很可能会带有英语口音。

使用 Eleven v4 时,以与样本相同语言生成的语音会保留原始口音。以其他语言生成的语音则会流畅地使用目标语言。如果需要在其他语言中保留训练时的口音,请先用 Eleven v4 测试该行为,再正式使用。

我们仅支持克隆以受支持语言录制的样本。如果样本使用不受支持的语言录制,应用会拒绝该样本。

请参阅以下示例,了解优质和劣质录音的区别。

目前仅允许克隆自己的声音。提交微调请求前,系统会要求你完成验证流程。

提示与建议

专业录音设备

请使用高质量录音设备,以获得最佳效果,因为 AI 会克隆音频中的所有内容。高质量输入 = 高质量输出。任何麦克风都可以使用,但建议使用接入专用音频接口的 XLR 麦克风。入门级设备可考虑 Audio Technica AT2020 或 Rode NT1,搭配 Focusrite 接口或类似设备。

使用防喷罩

录音时使用防喷罩,可减少爆破音。

麦克风距离

保持与麦克风适当的距离——建议距离麦克风约两个拳头,但也取决于想要的录音效果。

无噪声录音

确保音频输入没有背景音乐或噪声等干扰。干净、简洁的音频最适合 AI 克隆。

房间声学环境

最好在经过声学处理的房间录音。这样可减少不需要的回声和背景噪声,为 AI 提供更清晰的音频输入。也可以用厚羽绒被或棉被临时吸收录音空间的声音。

音频预处理

如果希望 AI 输出特定音效,可考虑提前编辑音频。例如,如果想要精致的播客风格输出,可以预处理音频以匹配该质量;如果语音中有很长的停顿,或单词之间有很多“呃”和“啊”,也应进行处理,因为 AI 同样会模仿这些内容。

音量控制

保持稳定音量:应足够响亮清晰,但不能过响以免产生失真。目标是实现平衡、稳定的音频电平。理想范围是 RMS -23 dB 至 -18 dB,真峰值为 -3 dB。

足够的音频时长

为获得最佳效果,请至少提供 30 分钟符合上述指南的高质量音频,最好接近 2 小时以上。为 AI 提供的高质量数据越多,语音克隆效果越好。样本数量不重要,重要的是总时长。不过,如果计划上传数小时音频,最好将其拆分为多个约 30 分钟的样本,以便上传。

Eleven v4

专业语音克隆完全支持 Eleven v4。它基于语音准确度方面的相同进展,比早期模型更忠实地复现原始声音,包括音色、节奏、口音、表达方式和响度。同一个克隆在 Eleven v4 上的听感可能与在 Eleven v3 上显著不同。请用自己的内容比较两者,并保留适合使用场景的版本。

Eleven v4 有两个变体,均支持专业语音克隆:

  • Eleven v4 (eleven_v4) 是最高质量模型,适用于内容创作、有声书和角色旁白配音。
  • Eleven v4 Turbo (eleven_v4_turbo) 在保持该质量的同时提供低延迟,适合对话式智能体等实时使用场景。

两个变体都支持 Stability 和 Similarity 语音设置,但 Eleven v4 不提供 Style 和 Speed,且不支持 SSML。

大多数专业语音克隆会自动在 Eleven v4 上进行微调;如果该模型尚不可用,也可以手动触发微调流程。要在 Eleven v4 上训练现有的专业语音克隆,请打开我的音色,找到该语音并将鼠标悬停其上。语音已完成微调的模型会显示勾选,可进行微调的模型会显示加号。点击 Eleven v4 旁的加号按钮即可开始微调。完成后,会在应用内和通过电子邮件通知你。

克隆强度

选择专业语音克隆和 Eleven v4 后,语音设置中会提供 克隆强度 滑块。克隆强度控制生成语音与克隆训练录音的贴近程度。

较低值会略微平滑声音,并让表达更灵活;通常整体听感更好,同时仍保留原始声音的特征。较高值会减少平滑处理,使输出更贴近训练录音,更准确地模仿原始声音的表达和表现。较高值尤其适合具有鲜明特征或独特口音的声音。

大多数场景建议使用 0%;但对于独特口音或特征,更高的值可能有所帮助。此类情况下,建议将克隆强度提高至 50%。

常见问题

与只需不到 2 分钟音频即可快速克隆声音的 即时语音克隆 不同,专业语音克隆 可训练出更逼真的声音模型。它会使用大量语音数据训练专属模型,生成的声音几乎与原声无法区分。

专业语音克隆需要微调和训练,因此暂时无法立即使用克隆的声音。具体时间取决于前方排队人数及其他因素,难以准确预估,但微调通常需要 3–6 小时。

专业语音克隆准备就绪后,会收到邮件通知。

不可以。你只能创建自己声音的专业语音克隆。即使对方同意,也不能克隆他人的声音。所有专业语音克隆都需要经过验证流程,以确认该声音属于你。

如果有人想与你分享他们的声音,可以在自己的账户中创建并验证专业语音克隆,然后使用分享链接私下分享给你。请在以下文章中了解更多:如何分享音色?

专业语音克隆(PVC)名额因订阅套餐而异:


基础 PVC 名额
  • 免费版和 Starter 套餐:无 PVC 名额
  • Creator、Pro 和旧版 Scale 套餐:1 个 PVC 名额
  • Scale 和旧版 Business 套餐:3 个 PVC 名额
  • Business 套餐:10 个 PVC 名额
  • Enterprise 套餐:自定义 PVC 名额数量

额外 PVC 名额

将专业语音克隆分享到声音库后,如果该音色被标记为录音室品质,即可获得额外 PVC 名额。

  • 录音室品质审核仅适用于已分享到声音库的音色
  • 音色被声音库收录后,会自动进行录音室品质审核,但不会立即完成
  • 如果共享的 PVC 被标记为录音室品质,会自动获得 1 个额外 PVC 名额
  • 如果多个共享音色被标记为录音室品质,这种情况可能会多次发生
  • 除非满足以下任一条件,否则无法创建更多 PVC:
    • 通过声音库中共享音色的录音室品质审核获得额外名额
    • 升级至 Scale 或更高套餐
重要说明
  • 专业语音克隆只能用于克隆自己的声音
  • 如果降级至 Creator 以下套餐,PVC 会保留在账户中,但需升级至 Creator 或更高套餐后才能使用
  • 可拥有的自定义音色总数(包括 PVC)取决于订阅套餐

所有专业语音克隆(PVC)都会自动在 Flash v2.5、Turbo v2.5 和 Multilingual v2 模型上训练。使用英语音频训练的 PVC 还会自动在 Flash v2 和 Turbo v2 模型上训练。

如果已有 PVC,现在可以选择在其他模型上进行微调。未来若发布支持微调的新模型,将收到通知。通知会以感叹号图标显示,出现在我的音色音色列表中相应音色的右侧。将鼠标悬停在该图标上即可查看通知。

 

 

要开始微调,请将鼠标悬停在我的音色列表中的音色名称上,即可看到所有可用模型。已在该模型上完成微调的音色会显示勾选图标,可进行微调的模型会显示加号图标。只需点击模型即可开始微调。 

音色微调期间,可将鼠标悬停在模型名称上查看进度。请注意,由于音色缓存,可能需要刷新页面才能查看最新进度。微调完成后,将通过应用内通知和电子邮件告知你。

专业语音克隆在处理过程中会经历几个不同阶段。这些阶段会反映在我的音色中专业语音克隆显示的状态里。

要查看当前状态,请在列表中找到音色,并查看右侧显示的图标。

 

草稿:此状态表示音色尚未完成。通常是因为尚未完成音色创建,或尚未验证音色。

要完成验证流程,请点击勾选图标。

要返回音色创建流程,请点击 更多操作(三个点),然后选择 编辑音色。

 

完成音色验证后,还需在我们的模型上进行微调才能使用。可在我的音色中将鼠标悬停在音色名称上跟踪此流程。这里会列出所有可用模型,并以图标显示各模型状态。 

 

将鼠标悬停在模型名称上可查看更多信息,并会看到以下状态之一:

训练任务已排期:表示音色正在等待可用训练名额。排队时长取决于队列中其他音色的数量。

正在创建数据集和 正在进行微调:有可用名额后,即会开始微调流程。此过程可能需要 6–24 小时。会以百分比显示音色在训练流程各步骤中的完成进度。

很抱歉,此训练任务遇到问题,已重新尝试。无需进一步操作

这表示出现了问题,但音色已自动排队重试微调流程。下次尝试时应能成功完成微调;但如果多次失败,请发送电子邮件至 support@elevenlabs.io 联系支持团队。

音色已可与此模型配合使用:表示此模型的微调流程已完成,现在可以使用该模型生成此音色。

点击开始微调:部分模型不会自动训练,需要点击模型名称才能开始微调。如果音色有其他可用于微调的模型,音色旁会显示感叹号图标。 

要开始微调流程,只需将鼠标悬停在音色名称上,然后点击模型名称。

专业语音克隆会使用特定说话者的大量语音数据训练(微调)模型,以创建自定义模型。

上传样本并验证声音后,专业语音克隆将加入队列。预计训练时间约为 3–6 小时。具体时间取决于多个因素,因此难以准确预估。遗憾的是,有时可能需要更长时间。

可在 我的音色。 中查看声音当前状态。详情请参阅 专业语音克隆的状态是什么意思?

PVC 完成微调后,将通过应用内通知和电子邮件告知声音已可使用。

完成音色验证后,还需在我们的模型上进行微调才能使用。此期间,可在我的音色中将鼠标悬停在音色名称上查看状态。这里会显示音色可用的所有模型。要查看各模型状态,请将鼠标悬停在模型名称上。 

如果出现问题,可能会看到以下状态:

很抱歉,此训练任务遇到问题,已重新尝试。无需进一步操作。 这表示出现了问题,但音色已自动排队重试微调流程。下次尝试时应能成功完成微调;但如果多次失败,可能是 AI 无法解决的数据集问题。

可以尝试删除该音色,然后从头重新上传数据。这已帮助部分用户解决问题。

如果仍无法解决问题,可能需要检查训练音频,并考虑使用其他训练音频。

如果微调过程中持续失败,随时可发送电子邮件至 support@elevenlabs.io 联系支持团队。

如果在创建专业语音克隆时所有验证尝试均失败,可等待 24 小时后重新尝试。

也可以发送电子邮件至 support@elevenlabs.io 联系支持团队,以便他们为你检查问题。如果一切正常,他们会重置验证尝试次数,让你重新尝试。

以下建议可帮助你顺利验证专业语音克隆:

  • 确保网页浏览器已获准使用麦克风,且未静音。
  • 确保电脑麦克风录制的音频与用于克隆的已上传音频听起来相似,且没有背景噪音或其他外部音频干扰。
  • 尝试以与训练音色所用音频相似的风格说话。
  • 每句验证文本只朗读一次,然后按 停止 结束录音。多次朗读同一句可能导致验证失败。

最近一次验证尝试 24 小时后,可以从 我的音色 删除未经验证的专业语音克隆(PVC)。如果需要提前删除,请通过 support@elevenlabs.io 联系支持团队。

如果尚未开始验证流程,可随时删除 PVC。

专业语音克隆支持 Eleven v4 模型系列提供的所有语言,共 90 多种语言。

Eleven v4 模型系列支持 90 多种语言,包括:

南非荷兰语(af)、阿姆哈拉语(am)、阿拉伯语(ar)、亚美尼亚语(hy)、阿萨姆语(as)、阿斯图里亚斯语(ast)、阿塞拜疆语(az)、白俄罗斯语(be)、孟加拉语(bn)、波斯尼亚语(bs)、保加利亚语(bg)、缅甸语(my)、粤语(yue)、加泰罗尼亚语(ca)、宿务语(ceb)、克罗地亚语(hr)、捷克语(cs)、丹麦语(da)、荷兰语(nl)、英语(en)、爱沙尼亚语(et)、菲律宾语(fil)、芬兰语(fi)、法语(fr)、富拉语(普拉尔语)(ff)、加利西亚语(gl)、格鲁吉亚语(ka)、德语(de)、希腊语(el)、古吉拉特语(gu)、豪萨语(ha)、希伯来语(he)、印地语(hi)、匈牙利语(hu)、冰岛语(is)、印度尼西亚语(id)、意大利语(it)、日语(ja)、爪哇语(jv)、坎巴语(kam)、卡纳达语(kn)、哈萨克语(kk)、韩语(ko)、吉尔吉斯语(ky)、老挝语(lo)、拉脱维亚语(lv)、林加拉语(ln)、立陶宛语(lt)、卢干达语(lg)、卢森堡语(lb)、马其顿语(mk)、马来语(ms)、马拉雅拉姆语(ml)、马耳他语(mt)、普通话(zh)、毛利语(mi)、马拉地语(mr)、蒙古语(mn)、尼泊尔语(ne)、挪威语(no)、奥克语(oc)、奥里亚语(or)、普什图语(ps)、波斯语(fa)、波兰语(pl)、葡萄牙语(pt)、旁遮普语(pa)、罗马尼亚语(ro)、俄语(ru)、塞尔维亚语(sr)、绍纳语(sn)、信德语(sd)、斯洛伐克语(sk)、斯洛文尼亚语(sl)、索马里语(so)、索拉尼库尔德语(ckb)、西班牙语(es)、斯瓦希里语(sw)、瑞典语(sv)、塔吉克语(tg)、泰米尔语(ta)、泰卢固语(te)、泰语(th)、土耳其语(tr)、乌克兰语(uk)、乌尔都语(ur)、乌兹别克语(uz)、越南语(vi)、威尔士语(cy)、沃洛夫语(wo)、祖鲁语(zu)。

language_code 参数对大多数语言接受 ISO 639-1 双字母代码。没有 ISO 639-1 代码的语言使用 ISO 639-3 三字母代码:阿斯图里亚斯语(ast)、粤语 (yue)、宿务语(ceb)、菲律宾语(fil)、坎巴语(kam)和索拉尼库尔德语(ckb)。

即时语音克隆和专业语音克隆支持多种文件类型。强烈建议使用 192kbps 或更高码率的 MP3。

推荐格式

  • MP3,192kbps 或更高

推荐时长

  • 即时语音克隆:1–2 分钟的高质量音频
  • 专业语音克隆:30–180 分钟的高质量音频

即时语音克隆的最短时长

在应用中上传样本时,每个文件至少需要 5 秒,所有样本合计至少需要 10 秒。要获得高质量克隆,建议达到上述推荐时长。

WAV 等未压缩格式通常不会提升克隆质量,还可能导致上传过程出现问题。请重点关注录音质量:使用无背景噪音、房间混响或多个说话者的清晰录音,保持音量和语调一致,并避免长时间静音。

更多信息,请参阅即时语音克隆(IVC)和专业语音克隆(PVC)。

在 ElevenLabs,我们致力于尊重知识产权,并采取措施防范技术可能被滥用:

  • 我们仅与遵守 服务条款 和 禁止使用政策 的客户合作。这些政策禁止将我们的技术恶意用于任何可被视为非法或有害的目的;
  • 我们支持声音所有者及其被许可方维护权利,并会审核和处理所有已知侵权行为;
  • 通过模型生成的所有音频都可立即追溯到负责生成的用户。

我们正在开发的技术尚属新兴领域,明确的监管规定尚未出台。作为 AI 研究实验室,我们的目标之一是提升人们对这项技术、其潜力及局限性的认识。

如需完整指南,强烈建议阅读有关 即时语音克隆 和 专业语音克隆 的文档。

关键在于:高质量且一致的输入 = 高质量且一致的输出。

时长

  • 即时语音克隆:1 - 2 分钟高质量音频
  • 专业语音克隆:30 - 180 分钟高质量音频

请使用能找到的最佳、最清晰的音频片段。音频中应只有 1 位说话者,没有背景噪声或干扰,且声音应清晰响亮。

与其为增加时长而使用许多质量不同的片段,不如优先选择麦克风质量明显更高、整体质量和语调保持一致的片段,而非专注于增加总时长。

确保片段中大部分对话符合你最偏好的说话风格和语调。不要包含过多说话者偏离目标语音模式的对话片段。

如有必要,可使用降噪工具减少背景噪声。

你可以在我们的文档此处找到更多信息。

可以。你可以使用 Flash v2.5 和 Multilingual v2 支持的任何语言克隆声音。完整支持语言列表请参阅此处。

你也可以克隆使用 AI 不支持语言说话的声音。克隆可能会捕捉到说话者的语调,但无法说出该语言,且结果可能无法预测。我们不建议这样做。

你无法将语音克隆下载或导出为独立文件。语音克隆会保留在 ElevenLabs 账户中。

你仍可在 ElevenLabs 网站之外使用 ElevenLabs 音色。第三方服务可通过 API 密钥 调用 ElevenLabs API,并使用账户中的音色生成语音。

如果日后想重新创建克隆,请保留创建时使用的原始音频样本。即使使用相同音频,每个克隆的声音也会略有不同。

ElevenLabs 提供两种克隆选项:

  • 即时语音克隆: 使用约 1–3 分钟音频即可快速生成结果。适用于大多数声音,但对少见口音或独特声音的效果可能有限。
  • 专业语音克隆: 保真度更高,需使用 30 分钟至约 3 小时的音频。微调通常需要 3–6 小时,如果排队的声音较多,可能需要更久。

如果即时语音克隆未能很好地捕捉声音或口音,请尝试专业语音克隆。

克隆创建后无法更改其口音或语调。若要改善效果,请更换所用音频样本。样本的细微调整也可能带来显著差异。

如果在专业语音克隆(PVC)完成微调并可供使用前尝试使用它,就会看到此错误。

创建 PVC 后,它需要经过多个流程才能使用。完成音色验证后,系统会进行处理并排队等待微调。根据当前等待微调的其他音色数量,预计此过程通常需要 3–6 小时,但最长可能需要 24 小时。

可在我的音色中找到音色,然后点击 查看 查看更多详情,以检查 PVC 的进度。将鼠标悬停在各模型上,即可查看当前状态。  

如需了解各状态的详细含义,请参阅专业语音克隆的状态是什么意思?

PVC 完成微调并可供使用后,会看到弹窗通知,同时也会收到电子邮件通知。

No results