Ir para a navegação
Recursos

Text to Dialogue

Saiba como criar diálogos imersivos e naturais com a ElevenLabs.

Visão geral

A API Text to Dialogue da ElevenLabs cria diálogos expressivos e naturais a partir de texto usando o Eleven v4 e o Eleven v3. Recomendamos o Eleven v4. Casos de uso populares incluem:

  • Gerar conversas perfeitas para jogos de vídeo
  • Criar diálogos imersivos para podcasts e outros conteúdos de áudio
  • Dar vida a audiolivros com narração expressiva

Talvez sejam necessárias várias gerações para alcançar os resultados desejados. Ao integrar o Text to Dialogue ao seu aplicativo, considere gerar várias opções e permitir que o usuário escolha a melhor.

Para situar a conversa em uma cena, como uma chamada telefônica, um café ou um grande salão, envie audio_effects com sua solicitação. As mesmas predefinições de filtro, ambientes e ruídos de fundo dos efeitos de áudio de Text to Speech se aplicam ao diálogo inteiro. Os efeitos de diálogo estão disponíveis apenas pela API.

Ouça um exemplo:

Desenvolvedores

Saiba como integrar texto em diálogo ao seu aplicativo.

Guia de prompts

Saiba como criar prompts para diálogos expressivos com tags de áudio.

Referência da API

Referência completa da API para o endpoint Text to Dialogue.

Opções de voz

A ElevenLabs oferece milhares de vozes por meio de vários métodos de criação. O Eleven v4 oferece suporte a mais de 90 idiomas, e o Eleven v3, a mais de 70 idiomas.

Saiba mais sobre nossas opções de voz.

Prompts

Os modelos interpretam o contexto emocional diretamente da entrada de texto. Por exemplo, adicionar texto descritivo como “ela disse animadamente” ou usar pontos de exclamação influencia a emoção da fala. Configurações de voz como Estabilidade e Similaridade ajudam a controlar a consistência, enquanto a emoção subjacente vem de pistas textuais.

Leia o guia de prompts para mais detalhes.

Entonações emocionais com tags de áudio

Este recurso ainda está em desenvolvimento ativo, e os resultados podem variar.

O Eleven v4 e o Eleven v3 permitem usar eventos de áudio que não são fala para influenciar a entonação do diálogo. Isso é feito inserindo os eventos de áudio na entrada de texto entre colchetes.

No Text to Dialogue, cada turno de diálogo tem seu próprio texto e voz. Adicione tags de áudio dentro do texto do turno que elas devem afetar. O voice_id ainda seleciona a voz do interlocutor para esse turno, enquanto as tags orientam a entonação.

Por exemplo, um interlocutor pode usar uma voz enquanto o texto começa com [giggling], e o próximo pode usar outra voz enquanto o texto começa com [whispering]. Para um exemplo de API que combina tags com voice_id, consulte o guia de início rápido de Text to Dialogue.

As tags de áudio são instruções em linguagem natural, não um parâmetro enum. Coloque a instrução entre colchetes e posicione-a no texto onde a entonação deve mudar. Os exemplos abaixo não são exaustivos; use o guia de prompts para mais orientações sobre tags eficazes.

As tags de áudio vêm em alguns formatos diferentes:

Emoções e entonação

Por exemplo, [sad], [laughing] e [whispering]

Eventos de áudio

Por exemplo, [leaves rustling], [gentle footsteps] e [applause].

Direção geral

Por exemplo, [football], [wrestling match] e [auctioneer].

Alguns exemplos incluem:

"[giggling] That's really funny!"
"[groaning] That was awful."
"Well, [sigh] I'm not sure what to say."

Você também pode usar pontuação para indicar o fluxo do diálogo, como interrupções:

"[cautiously] Hello, is this seat-"
"[jumping in] Free? [cheerfully] Yes it is."

Reticências podem ser usadas para indicar frases que ficam em aberto:

"[indecisive] Hi, can I get uhhh..."
"[quizzically] The usual?"
"[elated] Yes! [laughs] I'm so glad you knew!"

O formato de resposta padrão é mp3, mas outros formatos, como pcm e ulaw, estão disponíveis.

  • MP3
    • Taxas de amostragem: 22,05 kHz - 44,1 kHz
    • Taxas de bits: 32 kbps - 192 kbps
    • 22,05 kHz a 32 kbps
    • 44,1 kHz a 32 kbps, 64 kbps, 96 kbps, 128 kbps, 192 kbps
  • PCM (S16LE)
    • Taxas de amostragem: 16 kHz - 44,1 kHz
    • Taxas de bits: 8 kHz, 16 kHz, 22,05 kHz, 24 kHz, 44,1 kHz, 48 kHz
    • Profundidade de 16 bits
  • μ-law
    • Taxa de amostragem de 8 kHz
    • Otimizado para aplicações de telefonia
  • A-law
    • Taxa de amostragem de 8 kHz
    • Otimizado para aplicações de telefonia
  • Opus
    • Taxa de amostragem: 48 kHz
    • Taxas de bits: 32 kbps - 192 kbps

Opções de áudio de maior qualidade estão disponíveis apenas nos planos pagos — consulte nossa página de preços para mais detalhes.

Idiomas compatíveis

O Eleven v4 oferece suporte a mais de 90 idiomas. O Eleven v3 oferece suporte a mais de 70 idiomas. Consulte Eleven v4 e Eleven v3 para ver as listas completas.

Perguntas frequentes

Text to Dialogue está disponível nos modelos Eleven v4 e Eleven v3.

Sim. Você mantém a propriedade de qualquer áudio que gerar. No entanto, os direitos de uso comercial estão disponíveis apenas nos planos pagos. Com uma assinatura paga, você pode usar o áudio gerado para fins comerciais e monetizar as saídas se possuir os direitos de propriedade intelectual do conteúdo de entrada.

Uma regeneração gratuita permite gerar novamente o mesmo conteúdo de texto em fala sem custo adicional, sujeita a estas condições:

  • Disponível apenas no painel da ElevenLabs.
  • Você pode gerar novamente cada conteúdo até 2 vezes sem custo.
  • O conteúdo deve ser exatamente igual ao da geração anterior. Qualquer alteração no texto, nas configurações de voz ou em outros parâmetros exigirá uma nova geração paga.

Regenerações gratuitas são úteis caso haja uma pequena distorção no áudio gerado. Segundo os benchmarks internos da ElevenLabs, as regenerações resolvem cerca de metade dos problemas de qualidade; os problemas restantes geralmente se devem a dados de treinamento insuficientes.

Não há limite para o número de interlocutores em um diálogo.

Os modelos não são determinísticos. Para ter consistência, use o parâmetro seed opcional, embora diferenças sutis ainda possam ocorrer.

Mantenha o comprimento total de todos os valores inputs[].text em até 2.000 caracteres por solicitação para uma geração confiável. Divida textos mais longos em partes e concatene o áudio resultante no seu aplicativo.

Informações principais

  • Modelos: disponível com Eleven v4 e Eleven v3
  • Interlocutores: sem limite de interlocutores por diálogo
  • Tamanho da solicitação: mantenha o comprimento total de todos os valores inputs[].text em até 2.000 caracteres por solicitação
  • Determinismo: a saída não é determinística — use o parâmetro seed para resultados mais consistentes
  • Regenerações gratuitas: até 2 regenerações gratuitas por geração (mesmo conteúdo, mesmos parâmetros, apenas no painel)
  • Propriedade: você mantém a propriedade do áudio gerado; o uso comercial exige um plano pago