声音转换

什么是语音转换？

语音转换可将一个人的声音转变为另一个人的声音。它通过一种称为语音克隆的技术，对目标音色——即要转换成的声音——进行编码，并以符合目标说话者身份特征、同时保留原始语调的方式生成同一段内容。

应用

高质量的语音转换和语音克隆技术，有望改变多个行业制作、传播和互动内容的方式。它们可优化制作时间与成本，也能让提供声音来训练转换算法的人获得被动收入。

• 在影视制作中，演员可与制片方共享音色数据库，无需前往片场或录音室即可制作音轨；
• 口误台词可在后期更高效地重新录制；
• 该技术还可在虚构场景中忠实复现历史人物的声音，或让已故演员“重现”声音；
• 游戏开发同样可从中受益：修正台词或进行实验都能即时完成，无需演员亲自到场录音；
• 在医疗领域，因喉癌治疗等原因失去说话能力的患者，有机会再次用自己的声音交流；
• 虚拟助手可实现个性化。对家庭用户而言，与亲人的声音而非陌生的虚拟声音互动，可能更自然；
• 反过来，广告行业可采用听起来与真人无异的合成旁白配音，同时避免权属和版税问题。另一方面，若确实需要可辨识的声音，广告制作方也可在获得同意后克隆特定演员的声音，无需让演员亲自参与漫长的录音；
• 有声书和播客只是另外两个不断发展的行业，应用语音克隆和语音转换技术，有机会优化沉浸式内容的制作和编辑。

ElevenLabs 语音转换

虽然我们在 ElevenLabs 的工具套件中开发了语音转换软件，但我们对语音克隆和语音合成的研究，主要推动了核心产品的开发。该产品计划于明年年初发布：保留身份特征的自动配音工具。

我们的目标是让所有口语内容只需一键即可跨语言传播，同时保留原说话者的声音。设想一段英文教学YouTube 视频。如果有人只会说西班牙语（若懂英语，他们本会对主题感兴趣），这就是个问题。当然，字幕是一种解决方案，但我们的目标是提供更沉浸、更有趣的内容互动方式。即使原说话者并不会说西班牙语，我们也希望能让同一个人用接近母语者水平的自然西班牙语说出相同内容。

为此，语音克隆让我们能够保留说话者的身份特征——也就是声音本身。我们用它生成另一种语言的新语句，使其听起来仍像同一个人在说话。

语音转换则用于保留说话者的情绪、意图和表达风格，带来更强的沉浸感。我们训练了强大的多语言模型，可解析源语言语句，并以恰当的语调映射到目标语言。

工作原理

要将一个人的声音转换成另一个人的声音，即将源语音转换为目标语音，需要一种算法用目标语音的特征来表达源语音的内容。一个贴切的类比是换脸应用：它能将你的脸与他人的脸混合，生成一张融合两者特征的照片。

具体做法是获取一张人脸图像并映射其属性。如下例所示，图中的点正是用来完成这项工作：它们划定了呈现另一张脸部特征的范围。

在语音转换中，我们需要让算法能够编码目标语音的属性。算法会基于包含大量该语音示例的数据集进行训练，将样本拆解到基础层面——可以说是语音的“原子”。语音由句子组成，句子由词语组成，词语则由音素组成。音素标记了目标语音的特征，也是算法运行的基础层级。

语音转换的关键，是用目标语音的音素来呈现源语音内容。但这与换脸示例一样存在取舍：用于映射一张脸部属性的标记越多，对映射到其中的另一张脸限制就越多；标记越少，限制也越少。语音转换也是如此。我们越优先考虑目标语音，就越可能与源语音不同步；但如果优先程度不够，又可能丢失原本赋予该语音特色的大量元素。举例来说，若要用 Morgan Freeman 的声音呈现某人愤怒喊叫的录音，就会遇到难题。过度保留源语音的情绪，会削弱听起来确实是 Morgan Freeman 在说话的感觉；过度强调他的说话模式，又会失去源语音的情感张力。

伦理

语音克隆的伦理问题值得关注，因为该技术被滥用的可能性正让越来越多人担忧。2020 年，诈骗者曾在电话中冒充 CEO，利用音频深度伪造授权了一笔 3,500 万美元的银行转账。能够令人信服地让某人看似说过实际上没说过的话的技术，自然会引发被用于造谣、诽谤或诈骗的担忧。同样，如果语音转换允许用户从未经声音所有者同意生成的内容中获利，也会带来重要的版权侵权问题。

在 ElevenLabs，我们认为有必要尽力确保技术不被用于恶意目的，并采取防护措施规避其风险：

• 我们只与遵守服务条款的客户合作。条款禁止出于造谣、诽谤、诈骗或任何其他可被视为非法或有害的目的，恶意使用我们的技术；
• ElevenLabs 制作的合成视频内容带有明确水印，说明其由 AI 生成。音频内容则包含清晰的文件说明。使用可辨识的声音时，仅用于演示，且不会引发利益冲突；
• 同时，我们也致力于支持声音所有者及其被许可方维护自身权利。
• 如果你对如何改进我们的立场有任何建议，欢迎通过ethics@elevenlabs.io

我们认为，对滥用的恐惧不应成为影响我们看待强大新技术的主导因素。更重要的是，应在开发阶段引入适当的防护措施，在充分发挥技术为更广泛社区带来潜力的同时，尽量降低伤害风险。

未来

语音转换和语音克隆技术有望改变电影、电视、内容创作、游戏开发、播客和有声书以及广告行业。但其应用不止于商业领域，在医疗、教育和沟通方面也有巨大潜力。

语音克隆正在开创一个未来：任何内容都能以任何语言和声音生成，触达全球数百万人，并创造全新的经济模式。ElevenLabs 的目标是帮助实现这一未来。