Latentie optimaliseren

Deze handleiding behandelt de kernprincipes voor het verbeteren van text-to-speech-latentie. Zie Latentie begrijpen voor een uitleg van wat latentie is en welke factoren daaraan bijdragen.

Hoewel er veel afzonderlijke technieken zijn, delen we ze in vier principes in.

Vier principes

1. Gebruik Flash-modellen
2. Maak gebruik van streaming
3. Houd rekening met geografische nabijheid
4. Kies geschikte stemmen

Gebruik Flash-modellen

Flash-modellen bieden inferentiesnelheden van ~75 ms en zijn daardoor ideaal voor realtime-applicaties. De afweging is een lichte afname van de audiokwaliteit vergeleken met Multilingual v2.

Maak gebruik van streaming

Er zijn drie typen text-to-speech-endpoints beschikbaar in onze API-referentie:

• Regulier endpoint: Retourneert een volledig audiobestand in één response.
• Streamingendpoint: Retourneert audiodelen geleidelijk met Server-sent events.
• WebSocket-endpoint: Maakt bidirectionele streaming voor realtime-audiogeneratie mogelijk.

Streaming

Streamingendpoints retourneren audio geleidelijk terwijl deze realtime wordt gegenereerd, waardoor de time-to-first-byte afneemt. Dit endpoint wordt aanbevolen wanneer de invoertekst vooraf beschikbaar is.

WebSockets

Het text-to-speech-WebSocket-endpoint ondersteunt bidirectionele streaming en is daardoor perfect voor applicaties met realtime-tekstinvoer (bijvoorbeeld LLM-outputs).

Als auto_mode is uitgeschakeld, wacht het model tot er voldoende tekst is om overeen te komen met het chunkschema voordat het audio begint te genereren.

Als je bijvoorbeeld een chunkschema van 125 tekens instelt maar er slechts 50 binnenkomen, wacht het model tot er aanvullende tekens binnenkomen—wat de latentie mogelijk verhoogt.

Zie de text-to-speech-WebSocket-handleiding voor implementatiedetails.

Kies geschikte stemmen

We hebben vastgesteld dat de stemkeuze in sommige gevallen invloed kan hebben op de latentie. Dit is de volgorde van snel naar langzaam:

1. Standaardstemmen (voorheen premade), synthetische stemmen en Instant Voice Clones (IVC)
2. Professional Voice Clones (PVC)

Uitvoerformaten met een hogere audiokwaliteit kunnen de latentie verhogen. Zorg voor een goede balans tussen je latentievereisten en de benodigde audiokwaliteit.

Houd rekening met geografische nabijheid

We bieden onze modellen vanuit meerdere regio’s aan om de latentie te optimaliseren op basis van je geografische locatie.

Wanneer je bijvoorbeeld Flash-modellen met WebSockets gebruikt, kun je afhankelijk van je locatie de volgende TTFB-latenties verwachten:

Je kunt controleren vanuit welke backendregio je request wordt verwerkt door de x-region-header in de API-response te bekijken. De momenteel gebruikte regio’s zijn: VS, Nederland en Singapore.

Gebruik voor je API-requests de base URL api.us.elevenlabs.io als je globale routing wilt uitschakelen en altijd servers in de VS wilt gebruiken:

import os
from elevenlabs.client import ElevenLabs
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
    base_url="https://api.us.elevenlabs.io"
)