Eleven v4

Eleven v4 é nosso modelo de Text to Speech mais recente e avançado, e o primeiro de uma nova geração de modelos. Ele melhora a qualidade do resultado, a precisão da voz, a consistência, a emoção, a interpretação, as tags de áudio e a cobertura de idiomas em comparação com o Eleven v3.

Em geral, o Eleven v4 representa uma evolução em relação ao Eleven v3, oferecendo resultados melhores em quase todos os casos. Recomendamos fortemente migrar para o v4 e testá-lo com suas próprias vozes e conteúdos para perceber a diferença. Embora alguns casos específicos possam exigir outra opção, a maioria dos usuários deve considerar o v4 a melhor escolha.

Para saber mais sobre tags, pontuação e prompts de diálogo, consulte Como usar prompts no Eleven v4.

Clonagem de voz

A precisão da clonagem de voz dá um grande salto com o Eleven v4. As vozes clonadas capturam as características da voz de origem — timbre, cadência e interpretação — com mais fidelidade do que qualquer modelo anterior.

As Clonagens de Voz Instantâneas (IVCs) estão mais precisas do que nunca no Eleven v4. Elas capturam com mais fidelidade as características que definem uma voz de origem, facilitando a criação rápida de um clone convincente a partir de uma amostra de áudio curta.

As Clonagens de Voz Profissionais (PVCs) têm suporte completo no Eleven v4. Elas se beneficiam dos mesmos avanços em precisão de voz e oferecem uma reprodução mais fiel da voz de origem para workflows que exigem o mais alto nível de consistência e controle.

Por causa desse salto significativo em precisão, o Eleven v4 pode soar bastante diferente do Eleven v3. O Eleven v3 estabeleceu a base para o Eleven v4, com forte foco em interpretação e precisão, enquanto o Eleven v4 desenvolve essa base com uma precisão de voz substancialmente maior. Como resultado, o Eleven v4 foi projetado para capturar a voz de origem com mais fidelidade, embora você ainda possa preferir como uma voz soava no Eleven v3. Precisão e preferência pessoal nem sempre são a mesma coisa, por isso recomendamos comparar as duas versões com seu próprio conteúdo para escolher a melhor opção para seu caso de uso.

Como o Eleven v4 reproduz com mais fidelidade as características da voz de origem, incluindo sotaque, interpretação, volume e outras qualidades distintivas, a qualidade da gravação de origem importa mais do que nunca. Um áudio de treinamento claro e limpo ajuda o Eleven v4 a capturar a voz com precisão, sem introduzir sons ou características indesejados. Ruídos de fundo, distorções ou outros problemas de gravação podem afetar o resultado.

Ainda estamos experimentando o Eleven v4 para entender a melhor forma de usá-lo. Até agora, ele parece muito melhor em capturar nuances de áudio, principalmente quando há bastante áudio de treinamento, como nas Clonagens de Voz Profissionais. Nossas orientações sobre o uso de dados de treinamento variados podem mudar à medida que continuamos testando como controlar o modelo com um conjunto de dados mais versátil. Por enquanto, recomendamos manter um único estilo de fala no áudio de treinamento, que o Eleven v4 deve capturar melhor do que os modelos anteriores.

Processamento de sotaque nativo

Esta é uma das maiores mudanças do Eleven v4 em comparação com os modelos mais antigos, e vale a pena entendê-la claramente.

Quando o idioma que você está gerando corresponde ao idioma da sua voz de referência, o sotaque original é preservado exatamente como antes.

Quando o idioma que você está gerando é diferente do idioma da voz de referência, o Eleven v4 gera uma fala fluente e natural no idioma de destino — em vez de manter o sotaque da voz de referência de seu idioma original.

Na prática: se você clonar a voz de uma pessoa coreana e gerar conteúdo em inglês, o Eleven v4 produzirá um inglês natural e fluente, em vez de inglês falado com sotaque coreano. Isso torna todas as vozes utilizáveis em todos os idiomas compatíveis e é especialmente útil para dublagem, conteúdo multilíngue e agentes de voz que precisam atender usuários em diferentes idiomas com uma única voz.

Se seu workflow depende de uma voz manter seu sotaque nativo em outros idiomas, teste esse comportamento diretamente no Eleven v4 antes de migrar — esta é uma mudança deliberada na forma como a geração entre idiomas funciona, não um erro.

No entanto, essa nova funcionalidade ainda está sendo refinada, e estamos explorando maneiras de transformá-la em uma opção, em vez de mantê-la sempre ativada. Isso ainda é um projeto de pesquisa, portanto não temos um prazo nem mais informações sobre isso no momento.

Variantes do modelo

O Eleven v4 vem em duas variantes, para que você possa escolher o equilíbrio ideal entre qualidade e velocidade para seu caso de uso:

• Eleven v4 (eleven_v4) — nosso modelo de maior qualidade, ideal para criação de conteúdo, audiolivros, locuções de personagens e qualquer caso de uso em que a qualidade seja a principal prioridade.
• Eleven v4 Turbo (eleven_v4_turbo) — qualidade extremamente alta com latência impressionantemente baixa, desenvolvido especificamente para casos de uso em tempo real, como agentes conversacionais e experiências de voz interativas.

As duas variantes usam duas configurações de voz: Estabilidade e Similaridade.

A Estabilidade controla o quanto a interpretação se mantém consistente entre gerações. Valores menores permitem uma interpretação mais expressiva e variada; valores maiores mantêm o desempenho mais próximo de uma referência fixa.

A Similaridade controla o quanto o resultado segue a voz de referência. Valores maiores exigem uma aderência mais próxima à referência, o que pode reduzir um pouco a naturalidade.

Quando você seleciona uma Clonagem de Voz Profissional e o Eleven v4, as configurações de voz incluem um controle deslizante adicional de Força do Clone. A Força do Clone controla o quanto o resultado segue as gravações de treinamento do clone. Em valores menores, a voz é suavizada levemente e a interpretação ganha mais flexibilidade, o que geralmente soa melhor no geral, mantendo a sonoridade da voz original. Em valores maiores, o resultado fica mais próximo das gravações de treinamento, com menos suavização, imitando mais de perto a interpretação e o desempenho da voz original. Valores maiores podem ser especialmente úteis para vozes com traços distintos ou sotaques únicos. Para a maioria das vozes, comece com 0%.

Os controles deslizantes de Estilo e Velocidade não estão disponíveis no Eleven v4, e SSML não é compatível.

As tags de áudio (por exemplo, [whispering], [shouting], [laughing]) permitem direcionar a interpretação com controle detalhado, e o Eleven v4 as processa com um nível de nuance superior ao dos modelos anteriores. Elas ainda não são perfeitas, e continuamos iterando e melhorando a confiabilidade com que o modelo segue as instruções das tags — esta é uma área de investimento contínuo, e ela continuará melhorando.

Demonstração

Precisão da clonagem de voz

Cada exemplo começa com uma prévia da Voice Library. Em seguida, pegamos um texto e o geramos usando uma Clonagem de Voz Instantânea dessa voz tanto no Eleven v3 quanto no Eleven v4.

Esta não é uma comparação perfeita. O Eleven v4 também funciona com Clonagens de Voz Profissionais, que podem melhorar ainda mais a correspondência. No entanto, para manter a comparação mais justa, usamos Clonagens de Voz Instantâneas tanto no Eleven v3 quanto no Eleven v4.

Estes exemplos mostram quanto da voz original o modelo capta. É importante observar que isso também inclui EQ, qualidade, volume e quaisquer outros pequenos detalhes e imperfeições no áudio, como plosivas, sibilância acentuada e flutuação de volume.

Ouça a prévia, depois o Eleven v3 e, por fim, o Eleven v4.

Voz NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Voz HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Interpretação de voz

Estas são gerações do Eleven v4. As tags de áudio no texto direcionam a interpretação.

Voz EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Voz t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Audiolivro

Esta é uma narração do Eleven v4. As tags definem o ritmo e o tom da cena.

Voz KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

O modelo continuará evoluindo

O Eleven v4 está em desenvolvimento ativo e contínuo. À medida que continuamos treinando e melhorando o modelo após o lançamento, seu comportamento pode mudar ao longo do tempo conforme a qualidade melhora. Recomendamos testar novamente seu caso de uso periodicamente à medida que o modelo evolui, e compartilharemos atualizações importantes conforme forem lançadas.

Perguntas frequentes