Latentieoptimalisatie

In deze handleiding komen de belangrijkste principes voor het verbeteren van tekst-naar-spraaklatentie aan bod. Zie Latency begrijpen voor een uitleg van wat latentie is en wat eraan bijdraagt.

Er zijn veel afzonderlijke technieken, maar we delen ze in volgens vier principes.

Vier principes

1. Gebruik Flash-modellen
2. Maak gebruik van streaming
3. Houd rekening met geografische nabijheid
4. Kies geschikte stemmen

Gebruik een realtime model

Eleven v4 Turbo en Flash v2.5 zijn ontworpen voor realtime gebruik, met een mediane latentie van ~100 ms. Flash-modellen hebben een iets lagere audiokwaliteit dan Multilingual v2.

Maak gebruik van streaming

In onze API-referentie zijn drie soorten tekst-naar-spraakendpoints beschikbaar:

• Regulier endpoint: Retourneert een volledig audiobestand in één response.
• Streaming-endpoint: Retourneert audiodelen geleidelijk via Server-sent events.
• WebSocket-endpoint: Maakt bidirectionele streaming mogelijk voor realtime audiogeneratie.

Streaming

Streaming-endpoints retourneren audio geleidelijk terwijl deze realtime wordt gegenereerd, waardoor de tijd tot de eerste byte afneemt. Dit endpoint wordt aanbevolen wanneer de invoertekst vooraf beschikbaar is.

WebSockets

Het tekst-naar-spraak-WebSocket-endpoint ondersteunt bidirectionele streaming en is daardoor ideaal voor applicaties met realtime tekstinvoer (bijv. LLM-outputs).

Als auto_mode is uitgeschakeld, wacht het model totdat er genoeg tekst is om aan het chunkschema te voldoen voordat het audio begint te genereren.

Als je bijvoorbeeld een chunkschema van 125 tekens instelt, maar er slechts 50 binnenkomen, wacht het model totdat er meer tekens binnenkomen. Dit kan de latentie verhogen.

Zie voor implementatiedetails de handleiding voor tekst-naar-spraak-WebSockets.

Kies geschikte stemmen

We hebben vastgesteld dat stemkeuze in sommige gevallen invloed kan hebben op de latentie. Dit is de volgorde van snelst naar langzaamst:

1. Standaardstemmen (voorheen premade), synthetische stemmen en Instant Voice Clones (IVC)
2. Professional Voice Clones (PVC)

Uitvoerformaten met een hogere audiokwaliteit kunnen de latentie verhogen. Zorg voor een goede balans tussen je latentievereisten en de gewenste audiokwaliteit.

Houd rekening met geografische nabijheid

We leveren onze modellen vanuit meerdere regio’s om de latentie te optimaliseren op basis van je geografische locatie.

Als je bijvoorbeeld Flash-modellen met WebSockets gebruikt, kun je afhankelijk van je locatie de volgende TTFB-latenties verwachten:

Je kunt controleren welke backendregio je request verwerkt door de x-region-header in de API-response te bekijken. De momenteel gebruikte regio’s zijn: VS, Nederland en Singapore.

Wil je geen gebruikmaken van globale routing en altijd servers in de VS gebruiken, gebruik dan de basis-URL api.us.elevenlabs.io voor je API-requests:

import os
from elevenlabs.client import ElevenLabs
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
    base_url="https://api.us.elevenlabs.io"
)