Apresentando o Modificador de Voz IA

O Modificador de Voz IA era originalmente chamado de fala para fala. No contexto de agentes de voz com IA, "fala para fala" também se refere a arquiteturas fusionadas, em que um único modelo processa diretamente a entrada e a saída de áudio. A ElevenAgents usa uma arquitetura em cascata avançada na plataforma. Saiba mais: Modelos em cascata vs. fusionados.

Modificador de Voz IA

Adicionamos o Modificador de Voz IA ao Speech Synthesis. O Modificador de Voz IA é uma ferramenta de conversão de voz que pega uma gravação de uma voz e faz com que ela soe como se fosse falada por outra, preservando a interpretação original. Isso significa que as emoções, o timing, o ritmo e a pronúncia que você coloca na gravação são transferidos para a voz de saída.

Isso dá a você um nível de controle que só os comandos de texto para fala nem sempre conseguem oferecer. Há duas formas principais de usá-lo.

Extraia mais emoção de uma voz. Nem todas as vozes respondem igualmente bem a orientações emocionais por meio de comandos de texto para fala. O Modificador de Voz IA permite gravar ou enviar uma fala muito expressiva e reproduzir essa amplitude emocional em outra voz. Se você precisa que um narrador profissional soe mais acolhedor ou que um personagem de livro infantil pareça mais brincalhão, pode interpretar a fala você mesmo e pedir ao Modificador de Voz IA para transferi-la à voz escolhida.

Ajuste a entrega da fala. Nossos modelos de texto para fala geralmente lidam bem com a entonação desde o início. Mas, quando você precisa de controle preciso sobre como uma frase específica é dita — onde recai a ênfase, como uma pausa acontece, qual é a cadência —, o Modificador de Voz IA permite demonstrar isso com sua própria voz e aplicar essa entrega a qualquer voz que você escolher. Isso será ainda mais útil quando integrarmos o Modificador de Voz IA diretamente ao Estúdio, mas o objetivo é o mesmo: dar a você controle preciso sobre o resultado.

Confira uma demonstração de um membro da nossa comunidade:

Pesquisa

Para converter a fala de origem em fala de destino, precisamos expressar o conteúdo da fala de origem com as características da fala de destino. Uma analogia útil é a troca de rostos: aplicativos que pegam dois rostos e os combinam, renderizando os traços de uma pessoa dentro da estrutura mapeada da outra.

Para fazer isso, pegamos a imagem de um rosto e mapeamos seus atributos. Os marcadores no exemplo abaixo fazem exatamente isso — eles são os limites dentro dos quais o outro rosto seria renderizado.

O segredo da conversão de voz é renderizar o conteúdo da fala de origem usando os fonemas da fala de destino. Mas há uma troca envolvida, assim como no exemplo de troca de rostos: quanto mais marcadores você usa para mapear os atributos de um rosto, mais restrições impõe ao rosto mapeado dentro deles. Menos marcadores significam menos restrições.

O mesmo vale para a conversão de voz. Quanto mais preferência damos à fala de destino, maior o risco de ela ficar dessincronizada da fala de origem. Mas, se não dermos preferência suficiente a ela, corremos o risco de perder grande parte do que torna essa fala característica. Por exemplo, se tentássemos renderizar a gravação de alguém gritando com raiva em uma voz sussurrada, teríamos um problema. Dar preferência excessiva às emoções da fala de origem tem como preço perder a impressão de que é uma voz sussurrada falando. Enfatizar demais o padrão de fala sussurrada faz com que percamos a carga emocional da fala de origem.

Produto e atualizações recentes

Mudanças nas vozes prontas

Estamos fazendo mudanças nas vozes padrão disponíveis no Speech Synthesis. Vamos descontinuar algumas vozes e substituí-las por novas, com mais de 20 adições previstas para as próximas semanas.

Também começaremos a fornecer, na interface, informações sobre por quanto tempo cada voz deverá continuar disponível. Ao longo de dezembro, vamos reformular nossos recursos de compartilhamento de voz e compensação por uso para melhorar a variedade de vozes. Em breve, mais detalhes.

Eleven Turbo v2 e formato uLaw de 8 kHz

O Turbo v2 é resultado de meses de pesquisa da nossa equipe. Ele foi projetado para interações em tempo real, mas funciona para qualquer caso de uso. Também oferece suporte ao formato padrão (m)uLaw de 8 kHz para sistemas de IVR.

Normalização e metadados com o Estúdio

O Estúdio agora oferece suporte às diretrizes padrão do setor para envio de audiolivros, incluindo ajuste de ganho e compressão dinâmica. Você também pode incorporar metadados (ISBN, autor e título) diretamente ao seu projeto no Estúdio.

Dicionário de pronúncia

Este foi um dos recursos mais solicitados. No mês passado, adicionamos suporte a tags SSML para especificar a pronúncia usando os dicionários IPA e CMU em nossos modelos em inglês. Agora, lançamos o suporte a dicionário de pronúncia na interface do Estúdio, permitindo enviar um arquivo que especifica a pronúncia usando IPA, CMU ou substituições de palavras (aliases). Os arquivos de dicionário usam o formato aberto padrão do setor .PLS de arquivo de léxico.

IPA e CMU são atualmente compatíveis com o Turbo v2 em inglês. As substituições de palavras são compatíveis com todos os modelos e idiomas. A documentação completa está disponível aqui.

Se tiver algum feedback, fale com a gente no Discord!

Experimente o Modificador de Voz IA

Fale do seu jeito e ouça a fala ser entregue em uma voz completamente diferente, com controle total sobre a interpretação. Capture sussurros, risadas, sotaques e nuances emocionais sutis.