Eleven v4
Nosso modelo de Text to Speech mais recente e avançado.
Eleven v4 é nosso modelo de Text to Speech mais recente e avançado, e o primeiro de uma nova geração de modelos. Ele melhora a qualidade do resultado, a precisão da voz, a consistência, a emoção, a entrega, as tags de áudio e a cobertura de idiomas em comparação ao Eleven v3.
Em geral, o Eleven v4 representa uma evolução em relação ao Eleven v3, com resultados melhores em praticamente todos os casos. Recomendamos fortemente migrar para o v4 e testá-lo com suas próprias vozes e conteúdos para perceber a diferença. Embora alguns casos específicos possam exigir outra opção, a maioria dos usuários deve considerar o v4 a melhor escolha.
Para saber mais sobre tags, pontuação e instruções de diálogo, consulte Como instruir o Eleven v4.
Clonagem de voz
A precisão da clonagem de voz dá um grande salto com o Eleven v4. As vozes clonadas capturam as características da voz original — timbre, cadência e entrega — com mais fidelidade do que qualquer modelo anterior.
As Clonagens Instantâneas de Voz (IVCs) estão mais precisas do que nunca no Eleven v4. Elas capturam as características marcantes de uma voz original com mais fidelidade, facilitando criar rapidamente uma clonagem convincente a partir de uma amostra curta de áudio.
A Clonagem Instantânea de Voz recebeu uma atualização significativa no Eleven v4, oferecendo uma precisão geral visivelmente melhor. Se você ainda não experimentou, este é um bom momento para testá-la com seu próprio áudio.
As Clonagens Profissionais de Voz (PVCs) são totalmente compatíveis com o Eleven v4. Elas se baseiam nos mesmos avanços em precisão de voz, oferecendo uma reprodução mais fiel da voz original para workflows que exigem o mais alto nível de consistência e controle.
O suporte a Clonagens Profissionais de Voz no Eleven v4 está sendo implementado gradualmente e talvez ainda não esteja disponível na sua conta. Ele deverá estar disponível para todos nos próximos dias.
Devido a esse salto significativo em precisão, o Eleven v4 pode soar consideravelmente diferente do Eleven v3. O Eleven v3 estabeleceu a base para o Eleven v4, com forte ênfase na entrega e na precisão, enquanto o Eleven v4 se apoia nessa base com uma precisão de voz substancialmente melhor. Como resultado, o Eleven v4 foi projetado para capturar a voz original com mais fidelidade, embora você ainda possa preferir como uma voz soava no Eleven v3. Precisão e preferência pessoal nem sempre são a mesma coisa, por isso recomendamos comparar as duas versões com seu próprio conteúdo para escolher a melhor opção para seu caso de uso.
Como o Eleven v4 reproduz com mais fidelidade as características da voz original, incluindo seu sotaque, entrega, volume e outras qualidades distintas, a qualidade da gravação original importa mais do que nunca. Áudios de treinamento claros e limpos ajudam o Eleven v4 a capturar a voz com precisão, sem introduzir sons ou características indesejados. Ruído de fundo, distorção ou outros problemas de gravação podem afetar o resultado.
Ainda estamos experimentando o Eleven v4 para entender a melhor forma de usá-lo. Até agora, ele parece muito melhor na captura de nuances do áudio, principalmente quando há bastante áudio de treinamento, como nas Clonagens Profissionais de Voz. Nossas recomendações para o uso de dados de treinamento variados podem mudar à medida que continuamos testando como controlar o modelo com um conjunto de dados mais versátil. Por enquanto, recomendamos manter um único estilo de fala no áudio de treinamento, que o Eleven v4 deve capturar melhor do que os modelos anteriores.
Tratamento de sotaques nativos
Esta é uma das maiores mudanças do Eleven v4 em comparação com todos os modelos mais antigos, e vale a pena entendê-la com clareza.
Quando o idioma que você está gerando corresponde ao idioma da sua voz de referência, o sotaque original é preservado exatamente como antes.
Quando o idioma que você está gerando é diferente do idioma da voz de referência, o Eleven v4 gera uma fala fluente e natural no idioma de destino — em vez de manter o sotaque da voz de referência do idioma original.
Na prática: se você clonar a voz de uma pessoa coreana e gerar conteúdo em inglês, o Eleven v4 produzirá um inglês natural e fluente, em vez de inglês falado com sotaque coreano. Isso torna todas as vozes utilizáveis em todos os idiomas compatíveis e é especialmente útil para dublagem, conteúdo multilíngue e agentes de voz que precisam atender usuários em idiomas diferentes usando uma única voz.
Se o seu workflow depende de uma voz manter seu sotaque nativo em outros idiomas, teste esse comportamento diretamente com o Eleven v4 antes de migrar — esta é uma mudança intencional na forma como a geração entre idiomas funciona, não um bug.
No entanto, essa nova funcionalidade ainda está sendo ajustada, e estamos explorando formas de torná-la uma opção ativável, em vez de deixá-la sempre ativa. Isso ainda é um projeto de pesquisa, portanto não temos um cronograma nem mais informações sobre isso no momento.
Variantes do modelo
O Eleven v4 está disponível em duas variantes, para que você possa escolher o equilíbrio ideal entre qualidade e velocidade para seu caso de uso:
- Eleven v4 (
eleven_v4) — nosso modelo de maior qualidade, ideal para criação de conteúdo, audiolivros, locuções de personagens e qualquer caso de uso em que a qualidade seja a principal prioridade. - Eleven v4 Turbo (
eleven_v4_turbo) — qualidade extremamente alta com latência impressionantemente baixa, desenvolvido para casos de uso em tempo real, como agentes conversacionais e experiências de voz interativas.
As duas variantes usam duas configurações de voz: Estabilidade e Similaridade.
A Estabilidade controla o quanto a entrega permanece consistente entre gerações. Valores menores permitem uma entrega mais expressiva e variada; valores maiores mantêm a performance mais próxima de uma base fixa.
A Similaridade controla o quanto o resultado segue a voz de referência. Valores maiores forçam uma adesão mais próxima à referência, o que pode reduzir um pouco a naturalidade.
Os controles deslizantes de Estilo e Velocidade não estão disponíveis no Eleven v4, e SSML não é compatível.
Tags de áudio (por exemplo, [whispering], [shouting], [laughing]) permitem direcionar a entrega com controle detalhado, e o Eleven v4 as interpreta com um nível de nuance superior ao dos modelos anteriores. Elas ainda não são perfeitas, e continuamos iterando e melhorando a confiabilidade com que o modelo segue as instruções das tags — esta é uma área ativa de investimento contínuo e continuará melhorando.
Demonstração
Estes exemplos são brutos. Nada passou por pós-processamento intenso: sem EQ, compressão, normalização, de-essing, remoção de plosivas ou algo semelhante. Se você ouvir problemas recorrentes, como clipping, plosivas, EQ irregular ou saltos de volume, é muito provável que eles estejam nos dados de treinamento dessa voz. O modelo Eleven v4 apenas os capturou, pois é muito preciso, mesmo ao capturar falhas. Deixamos o áudio intacto para que você possa ouvir o que o modelo produziu.
Precisão da clonagem de voz
Cada exemplo começa com uma prévia da Voice Library. Em seguida, pegamos um texto e o geramos usando uma Clonagem Instantânea de Voz dessa voz tanto no Eleven v3 quanto no Eleven v4.
Esta não é uma comparação perfeita. O Eleven v4 também funciona com Clonagens Profissionais de Voz, que podem aproximar ainda mais o resultado. No entanto, para manter a comparação mais justa, usamos Clonagens Instantâneas de Voz tanto para o Eleven v3 quanto para o Eleven v4.
Estes exemplos mostram quanto da voz original o modelo consegue captar. É importante observar que isso também inclui EQ, qualidade, volume e quaisquer outros pequenos detalhes e imperfeições no áudio, como plosivas, sibilância áspera e flutuação de volume.
Ouça a prévia, depois o Eleven v3 e, por fim, o Eleven v4.
Voz NfUrCNRReUL9RXS9upG1.
Voz HBDoL4wkcalemIO0nUAu.
Interpretação de voz
Estas são gerações do Eleven v4. As tags de áudio no texto direcionam a entrega.
Voz EkK5I93UQWFDigLMpZcX.
Voz t7VaN65ClS2VrEUwk1nR.
Audiolivro
Esta é uma narração do Eleven v4. As tags definem o ritmo e o tom da cena.
Voz KHRvDizAHFVPzoSehNY6.
O modelo continuará evoluindo
O Eleven v4 está em desenvolvimento ativo e contínuo. À medida que continuarmos treinando e aprimorando o modelo após o lançamento, seu comportamento poderá mudar com o aumento da qualidade. Recomendamos testar novamente seu caso de uso periodicamente à medida que o modelo evolui, e compartilharemos atualizações importantes conforme forem lançadas.
Perguntas frequentes
Quais idiomas o Eleven v4 oferece suporte?
O Eleven v4 oferece suporte a africâner, amárico, árabe, armênio, assamês, asturiano, azerbaijano, bielorrusso, bengali, bósnio, búlgaro, birmanês, cantonês, catalão, cebuano, croata, tcheco, dinamarquês, holandês, inglês, estoniano, filipino, finlandês, francês, fula (pulaar), galego, georgiano, alemão, grego, guzerate, hauçá, hebraico, hindi, húngaro, islandês, indonésio, italiano, japonês, canarês, cazaque, coreano, quirguiz, lao, lingala, lituano, luganda, luxemburguês, macedônio, malaio, malaiala, maltês, chinês mandarim, maori, marata, mongol, nepalês, norueguês bokmål, occitano, odia, pachto, persa, polonês, português (Brasil), punjabi, romeno, russo, sérvio, xona, sindi, eslovaco, esloveno, somali, curdo sorani, espanhol (América Latina), suaíli, sueco, tadjique, tâmil, telugo, tailandês, turco, ucraniano, urdu, uzbeque, vietnamita, galês e wolof.
Alguns idiomas são tratados com mais fluência do que outros, mas, em geral, o Eleven v4 lida muito bem com a grande maioria deles.
Uma voz clonada manterá seu sotaque?
Quando a voz de referência e a fala gerada estão no mesmo idioma, o sotaque da voz é preservado. Por exemplo, se você clonar alguém falando inglês com um determinado sotaque inglês e gerar fala em inglês, esse sotaque será mantido.
Posso fazer uma voz falar outro idioma com seu sotaque original?
Por padrão, quando o idioma gerado é diferente do idioma da voz de referência, o Eleven v4 busca gerar uma fala fluente e natural no idioma de destino, em vez de manter o sotaque de referência. Você pode tentar usar tags de áudio para orientar um sotaque ou estilo de entrega, mas os resultados podem variar; portanto, teste sua voz e caso de uso específicos.
Uma clonagem do Eleven v4 soará como sua versão do Eleven v3?
Em geral, o Eleven v4 reproduz as características da voz original com muito mais precisão do que o Eleven v3, incluindo timbre, cadência, entrega e outros maneirismos. Como resultado, uma clonagem do Eleven v4 geralmente soará mais como a voz original e poderá soar bastante diferente de sua versão do Eleven v3.
Preciso treinar o Eleven v4?
O Eleven v4 funciona tanto com Clonagem Instantânea de Voz quanto com Clonagem Profissional de Voz.
Com a Clonagem Instantânea de Voz, você cria uma voz sem uma etapa de treinamento separada. Envie uma amostra curta, geralmente de um a dois minutos, e em segundos você terá uma voz que poderá usar.
A Clonagem Profissional de Voz funciona da mesma forma que nos modelos anteriores. Ela treina um modelo dedicado com um conjunto maior de gravações.
Se você já tem uma Clonagem Profissional de Voz e quer treiná-la no Eleven v4, abra Minhas vozes, encontre a voz na lista e passe o cursor sobre ela. Você verá os modelos disponíveis para essa voz. Clique no botão de mais ao lado do Eleven v4 para iniciar o ajuste fino.
Devo usar o Voice Design com o Eleven v4?
As vozes do Voice Design funcionam com o Eleven v4, mas podem não ter a mesma capacidade de interpretação ou soar tão bem quanto nos modelos anteriores.