Tradução de voz IA

Tradução de voz / AI Dubbing

Estamos lançando a ferramenta de tradução de voz IA no próximo mês. Isso permite que os usuários convertam qualquer conteúdo de áudio ou vídeo para um idioma diferente, mantendo a voz original do locutor. Nosso objetivo é simples: tornar o conteúdo multilíngue acessível e autêntico em mídias como streaming, jogos e filmes.

Vimos Spotify e OpenAI apresentarem seus avanços em tradução de voz e capacidades de fala, e estamos animados para compartilhar novidades sobre nossos próprios desenvolvimentos.

A ferramenta que está por vir não é apenas sobre tradução; é sobre preservar a identidade do locutor e os padrões de fala originais entre idiomas, permitindo uma experiência mais conectada e imersiva do que o que a legendagem tradicional pode oferecer.

Imagine um vídeo educacional em inglês. Se alguém só fala espanhol (mas acharia o assunto interessante), isso é um problema. Queremos ser capazes de gerar a pessoa original falando a mensagem original naturalmente em espanhol nativo.

Isso requer combinar conversão de voz, clonagem de voz e multilíngue síntese de fala em uma única nova ferramenta. Aqui, a clonagem de voz nos permite preservar a identidade do locutor - o som da sua voz. Usamos a síntese de fala para gerar novas falas em um idioma diferente como se fosse a mesma pessoa falando. A conversão de voz entra em cena porque queremos preservar as emoções, a intenção e o estilo de entrega originais para máxima imersão.

Investimos muita pesquisa e inovação no desenvolvimento de tecnologia que pode reproduzir a fala humana de forma ultra-realista, entender o contexto e codificar perfis de voz. Nossa ferramenta de tradução de voz IA é um passo significativo para permitir que criadores ampliem seu alcance e ajudem públicos potenciais a descobrir conteúdos que considerem relevantes e cativantes, independentemente do idioma que entendam.

O que são dublagem, conversão de voz e síntese de fala?

Dublagem é um processo para fornecer a um vídeo uma trilha sonora em um idioma diferente, substituindo as vozes dos atores originais pelas de intérpretes falando outro idioma - também conhecido como "re-voicing" - tradicionalmente uma tarefa cara e demorada. Na Eleven, nosso objetivo é fazer isso automaticamente enquanto preservamos as vozes originais entre idiomas.

A conversão de voz permite que uma pessoa fale na voz de outra. Ela usa clonagem de voz para codificar uma voz alvo e sobrepô-la à voz de origem. O resultado é a mensagem original aparentemente falada por outra pessoa.

Text-to-speech (TTS) é a base de toda tecnologia de síntese de fala. TTS melhorou radicalmente ao longo dos anos, embora ainda muitas vezes soe robótico. Isso porque pronunciar palavras fluentemente por si só é insuficiente para dar qualidade humana à fala. É o tom e o ritmo orientados pela intenção que vêm da compreensão do que está sendo dito que a fazem soar natural. Na Eleven, tentamos alcançar exatamente isso: expondo nosso modelo a uma riqueza de dados de fala humana, treinamos para entender tanto o contexto lógico quanto emocional das falas e ajustar a entrega de acordo.

Em breve

Estamos ansiosos para o lançamento em outubro e para mudar a forma como interagimos com conteúdo multilíngue.