Optimering av latens
Den här guiden visar hur du minskar Text to Speech-latensen i din applikation.
Den här guiden beskriver de grundläggande principerna för att förbättra Text to Speech-latensen. En konceptuell förklaring av vad latens är och vad som påverkar den finns i Förstå latens.
Det finns många enskilda tekniker, men vi grupperar dem i fyra principer.
Fyra principer
Enterprise-kunder får högre samtidighetsgränser och prioriterad åtkomst till vår renderingskö. Kontakta försäljning för att läsa mer om våra Enterprise- planer.
Använd en realtidsmodell
Eleven v4 Turbo och Flash v2.5 är utformade för realtidsanvändning, med en medianlatens på ~100 ms. Flash-modeller har något lägre ljudkvalitet jämfört med Multilingual v2.
Dessa siffror exkluderar nätverkstid och din applikation. Den faktiska latensen från början till slut varierar beroende på faktorer som din plats och vilken endpoint-typ som används. Se hur latens mäts.
Utnyttja streaming
Det finns tre typer av Text to Speech-endpoints i vår API-referens:
- Vanlig endpoint: Returnerar en komplett ljudfil i ett enda svar.
- Streaming-endpoint: Returnerar ljudsegment gradvis med Server-sent events.
- WebSocket-endpoint: Aktiverar dubbelriktad streaming för ljudgenerering i realtid.
Streaming
Streaming-endpoints returnerar gradvis ljud medan det genereras i realtid, vilket minskar tiden till första byten. Den här endpointen rekommenderas när inmatningstexten är tillgänglig i förväg.
Streaming stöds för API:erna Text to Speech, Voice Changer och Audio Isolation.
WebSockets
text-to-speech-websocket-endpointen stöder dubbelriktad streaming, vilket gör den perfekt för applikationer med textinmatning i realtid (t.ex. utdata från LLM:er).
Om du anger auto_mode till true hanteras genereringsutlösare automatiskt, så att du slipper
hantera segmentstrategier manuellt.
Om auto_mode är inaktiverat väntar modellen på tillräckligt med text för att matcha segmentschemat innan den börjar generera ljud.
Om du till exempel anger ett segmentschema på 125 tecken men bara 50 kommer in, stannar modellen tills ytterligare tecken kommer in – vilket kan öka latensen.
Implementeringsdetaljer finns i guiden för text-to-speech-websocket.
Välj lämpliga röster
Vi har observerat att röstvalet i vissa fall kan påverka latensen. Här är ordningen från snabbast till långsammast:
- Standardröster (tidigare färdiga röster), syntetiska röster och Instant Voice Clones (IVC)
- Professional Voice Clones (PVC)
Utdataformat med högre ljudkvalitet kan öka latensen. Se till att balansera dina latenskrav mot behovet av ljudåtergivning.
Ta hänsyn till geografisk närhet
Vi tillhandahåller våra modeller från flera regioner för att optimera latensen utifrån din geografiska plats.
Om du till exempel använder Flash-modeller med WebSockets kan du förvänta dig följande TTFB-latenser beroende på var du befinner dig:
Du kan kontrollera vilken backend-region som hanterar din begäran genom att granska x-region-headern i API-svaret.
Regioner som används just nu omfattar: USA, Nederländerna och Singapore.
Enterprise-kunder kan använda våra dedikerade miljöer för dataresidens i EU och Indien, med garantier för serverplats och låg latens. Kontakta din säljrepresentant för att komma igång med vår infrastruktur för dataresidens.
För att välja bort global routning och alltid använda servrar i USA använder du bas-URL:en api.us.elevenlabs.io för dina API-begäranden:
De globala servrarna var tidigare valbara med bas-URL:en api-global-preview.elevenlabs.io.
Det behövs inte längre eftersom detta nu är standardbeteendet. Uppdatera dina applikationer så att de
i stället använder api.elevenlabs.io.