Ottimizzazione della latenza
Questa guida spiega come ridurre la latenza del text-to-speech nella tua applicazione.
Questa guida illustra i principi fondamentali per migliorare la latenza del text-to-speech. Per una spiegazione concettuale della latenza e dei fattori che vi contribuiscono, consulta Informazioni sulla latenza.
Esistono molte tecniche specifiche, ma le raggrupperemo in quattro principi.
Quattro principi
- Usa i modelli Flash
- Sfrutta lo streaming
- Considera la vicinanza geografica
- Scegli le voci appropriate
I clienti Enterprise usufruiscono di limiti di concorrenza più elevati e di accesso prioritario alla nostra coda di rendering. Contatta il team commerciale per scoprire di più sui nostri piani Enterprise.
Usa un modello in tempo reale
Eleven v4 Turbo e Flash v2.5 sono progettati per l’uso in tempo reale, con una latenza mediana di ~100 ms. I modelli Flash comportano una lieve riduzione della qualità audio rispetto a Multilingual v2.
Questi valori escludono il tempo di rete e la tua applicazione. La latenza end-to-end effettiva varia in base a fattori quali la tua posizione e il tipo di endpoint utilizzato. Scopri come viene misurata la latenza.
Sfrutta lo streaming
Nella nostra Riferimento API sono disponibili tre tipi di endpoint text-to-speech:
- Endpoint standard: restituisce un file audio completo in un’unica risposta.
- Endpoint di streaming: restituisce progressivamente blocchi audio tramite Server-sent events.
- Endpoint WebSockets: abilita lo streaming bidirezionale per la generazione audio in tempo reale.
Streaming
Gli endpoint di streaming restituiscono progressivamente l’audio mentre viene generato in tempo reale, riducendo il tempo al primo byte. Questo endpoint è consigliato quando il testo di input è disponibile fin dall’inizio.
Lo streaming è supportato per l’API Text to Speech, l’API Modificatore di Voce e l’API Isolamento audio.
WebSockets
L’endpoint websocket text-to-speech supporta lo streaming bidirezionale, rendendolo ideale per le applicazioni con input di testo in tempo reale (ad esempio, output LLM).
Impostando auto_mode su true, i trigger di generazione vengono gestiti automaticamente, eliminando la necessità di
gestire manualmente le strategie dei blocchi.
Se auto_mode è disabilitato, il modello attenderà di avere testo sufficiente per rispettare la pianificazione dei blocchi prima di iniziare a generare l’audio.
Ad esempio, se imposti una pianificazione dei blocchi di 125 caratteri ma ne arrivano solo 50, il modello resta in attesa finché non arrivano altri caratteri, aumentando potenzialmente la latenza.
Per i dettagli di implementazione, consulta la guida all’endpoint websocket text-to-speech.
Scegli le voci appropriate
Abbiamo osservato che, in alcuni casi, la selezione della voce può influire sulla latenza. Ecco l’ordine dalla più veloce alla più lenta:
- Voci predefinite (in precedenza premade), voci sintetiche e Clonazioni Vocali Istantanee (IVC)
- Clonazioni Vocali Professionali (PVC)
I formati di output audio di qualità superiore possono aumentare la latenza. Assicurati di bilanciare i requisiti di latenza con le esigenze di fedeltà audio.
Considera la vicinanza geografica
Forniamo i nostri modelli da più regioni per ottimizzare la latenza in base alla tua posizione geografica.
Ad esempio, usando i modelli Flash con WebSockets, puoi aspettarti le seguenti latenze TTFB a seconda della tua posizione:
Puoi verificare quale regione backend sta gestendo la tua richiesta esaminando l’header x-region nella risposta API.
Le regioni attualmente utilizzate includono: Stati Uniti, Paesi Bassi e Singapore.
I clienti Enterprise possono utilizzare i nostri ambienti dedicati di residenza dei dati nell’UE e in India per avere garanzie sulla posizione del server e una bassa latenza. Contatta il tuo rappresentante commerciale per accedere alla nostra infrastruttura di residenza dei dati.
Per non utilizzare il routing globale e usare sempre i server negli Stati Uniti, utilizza l’URL di base api.us.elevenlabs.io per le richieste API:
In precedenza, per utilizzare i server globali era necessario effettuare l’opt-in tramite l’URL di base api-global-preview.elevenlabs.io.
Ora non è più necessario, poiché questo è il comportamento predefinito. Aggiorna le tue applicazioni per
usare semplicemente api.elevenlabs.io.