Otimização de latência

Este guia aborda os princípios fundamentais para melhorar a latência de conversão de texto em voz. Para uma explicação conceitual sobre o que é latência e o que contribui para ela, consulte Entenda a latência.

Embora existam muitas técnicas individuais, vamos agrupá-las em quatro princípios.

Quatro princípios

1. Use modelos Flash
2. Aproveite o streaming
3. Considere a proximidade geográfica
4. Escolha vozes adequadas

Use um modelo em tempo real

Eleven v4 Turbo e Flash v2.5 foram projetados para uso em tempo real, com uma latência mediana de ~100 ms. Os modelos Flash têm uma pequena redução na qualidade do áudio em comparação com o Multilingual v2.

Aproveite o streaming

Há três tipos de endpoints de conversão de texto em voz disponíveis em nossa referência da API:

• Endpoint regular: Retorna um arquivo de áudio completo em uma única resposta.
• Endpoint de streaming: Retorna trechos de áudio progressivamente usando eventos enviados pelo servidor.
• Endpoint WebSocket: Permite streaming bidirecional para geração de áudio em tempo real.

Streaming

Os endpoints de streaming retornam áudio progressivamente à medida que ele é gerado em tempo real, reduzindo o tempo até o primeiro byte. Esse endpoint é recomendado para casos em que o texto de entrada está disponível antecipadamente.

WebSockets

O endpoint WebSocket de conversão de texto em voz oferece suporte a streaming bidirecional, sendo ideal para aplicativos com entrada de texto em tempo real, como saídas de LLMs.

Se auto_mode estiver desativado, o modelo aguardará texto suficiente para corresponder à programação de fragmentos antes de começar a gerar áudio.

Por exemplo, se você definir uma programação de fragmentos de 125 caracteres, mas apenas 50 chegarem, o modelo ficará parado até que caracteres adicionais sejam recebidos, o que pode aumentar a latência.

Para detalhes de implementação, consulte o guia do WebSocket de conversão de texto em voz.

Escolha vozes adequadas

Observamos que, em alguns casos, a seleção de voz pode afetar a latência. Esta é a ordem da mais rápida à mais lenta:

1. Vozes padrão (anteriormente prontas), vozes sintéticas e Clones de Voz Instantâneos (IVC)
2. Clones de Voz Profissionais (PVC)

Formatos de saída com maior qualidade de áudio podem aumentar a latência. Equilibre seus requisitos de latência com suas necessidades de fidelidade de áudio.

Considere a proximidade geográfica

Disponibilizamos nossos modelos em várias regiões para otimizar a latência com base na sua localização geográfica.

Por exemplo, ao usar modelos Flash com WebSockets, você pode esperar as seguintes latências de TTFB dependendo da sua localização:

Você pode verificar qual região de backend está atendendo à sua solicitação inspecionando o cabeçalho x-region na resposta da API. As regiões usadas atualmente incluem: EUA, Países Baixos e Singapura.

Para não usar o roteamento global e sempre utilizar servidores dos EUA, use a URL base api.us.elevenlabs.io para suas solicitações de API:

import os
from elevenlabs.client import ElevenLabs
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
    base_url="https://api.us.elevenlabs.io"
)