Hoppa till navigering

Optimering av latens

Den här guiden visar hur du minskar Text to Speech-latensen i din applikation.

Den här guiden beskriver de grundläggande principerna för att förbättra Text to Speech-latensen. En konceptuell förklaring av vad latens är och vad som påverkar den finns i Förstå latens.

Det finns många enskilda tekniker, men vi grupperar dem i fyra principer.

Fyra principer

  1. Använd Flash-modeller
  2. Utnyttja streaming
  3. Ta hänsyn till geografisk närhet
  4. Välj lämpliga röster

Enterprise-kunder får högre samtidighetsgränser och prioriterad åtkomst till vår renderingskö. Kontakta försäljning för att läsa mer om våra Enterprise- planer.

Använd en realtidsmodell

Eleven v4 Turbo och Flash v2.5 är utformade för realtidsanvändning, med en medianlatens på ~100 ms. Flash-modeller har något lägre ljudkvalitet jämfört med Multilingual v2.

Dessa siffror exkluderar nätverkstid och din applikation. Den faktiska latensen från början till slut varierar beroende på faktorer som din plats och vilken endpoint-typ som används. Se hur latens mäts.

Utnyttja streaming

Det finns tre typer av Text to Speech-endpoints i vår API-referens:

  • Vanlig endpoint: Returnerar en komplett ljudfil i ett enda svar.
  • Streaming-endpoint: Returnerar ljudsegment gradvis med Server-sent events.
  • WebSocket-endpoint: Aktiverar dubbelriktad streaming för ljudgenerering i realtid.

Streaming

Streaming-endpoints returnerar gradvis ljud medan det genereras i realtid, vilket minskar tiden till första byten. Den här endpointen rekommenderas när inmatningstexten är tillgänglig i förväg.

Streaming stöds för API:erna Text to Speech, Voice Changer och Audio Isolation.

WebSockets

text-to-speech-websocket-endpointen stöder dubbelriktad streaming, vilket gör den perfekt för applikationer med textinmatning i realtid (t.ex. utdata från LLM:er).

Om du anger auto_mode till true hanteras genereringsutlösare automatiskt, så att du slipper hantera segmentstrategier manuellt.

Om auto_mode är inaktiverat väntar modellen på tillräckligt med text för att matcha segmentschemat innan den börjar generera ljud.

Om du till exempel anger ett segmentschema på 125 tecken men bara 50 kommer in, stannar modellen tills ytterligare tecken kommer in – vilket kan öka latensen.

Implementeringsdetaljer finns i guiden för text-to-speech-websocket.

Välj lämpliga röster

Vi har observerat att röstvalet i vissa fall kan påverka latensen. Här är ordningen från snabbast till långsammast:

  1. Standardröster (tidigare färdiga röster), syntetiska röster och Instant Voice Clones (IVC)
  2. Professional Voice Clones (PVC)

Utdataformat med högre ljudkvalitet kan öka latensen. Se till att balansera dina latenskrav mot behovet av ljudåtergivning.

Vi arbetar aktivt med att optimera PVC-latensen för Flash v2.5.

Ta hänsyn till geografisk närhet

Vi tillhandahåller våra modeller från flera regioner för att optimera latensen utifrån din geografiska plats.

Om du till exempel använder Flash-modeller med WebSockets kan du förvänta dig följande TTFB-latenser beroende på var du befinner dig:

RegionTTFB
Nordamerika100-150ms
Europa100-150ms
Sydostasien100-150ms
Sydasien150-200ms
Nordostasien150-200ms

Du kan kontrollera vilken backend-region som hanterar din begäran genom att granska x-region-headern i API-svaret. Regioner som används just nu omfattar: USA, Nederländerna och Singapore.

Enterprise-kunder kan använda våra dedikerade miljöer för dataresidens i EU och Indien, med garantier för serverplats och låg latens. Kontakta din säljrepresentant för att komma igång med vår infrastruktur för dataresidens.

För att välja bort global routning och alltid använda servrar i USA använder du bas-URL:en api.us.elevenlabs.io för dina API-begäranden:

import os
from elevenlabs.client import ElevenLabs
elevenlabs = ElevenLabs(
api_key=os.getenv("ELEVENLABS_API_KEY"),
base_url="https://api.us.elevenlabs.io"
)

De globala servrarna var tidigare valbara med bas-URL:en api-global-preview.elevenlabs.io. Det behövs inte längre eftersom detta nu är standardbeteendet. Uppdatera dina applikationer så att de i stället använder api.elevenlabs.io.