Wat is de Text to Speech WebSockets API?

Het WebSocket-streamingendpoint, ook wel inputstreaming genoemd, biedt realtime tekst-naar-spraak-conversie met WebSockets. Hiermee kun je een tekstbericht versturen en realtime audiodata terugkrijgen.

Het is ontworpen om audioblokken te genereren op basis van slechts gedeeltelijke tekstblokken als invoer. Het kan de latency helpen minimaliseren door de uitvoer al te genereren voordat de volledige context is aangeleverd, en is bedoeld voor gebruik samen met andere tools, zoals Large Language Models (LLM’s). De gegenereerde audio klinkt nog steeds als een doorlopende reeks spraak.

Hoewel de WebSockets API zeer flexibel is, is deze geen oplossing die voor elke situatie geschikt is.

Deze API is geschikt voor scenario’s waarin:

• De invoertekst wordt gestreamd of in blokken wordt gegenereerd.
• De laagst mogelijke latency nodig is.
• Informatie over de afstemming tussen woorden en audio vereist is.

 Dit is mogelijk niet de beste keuze wanneer:

• De volledige invoertekst in één keer wordt aangeleverd. Omdat de generaties gedeeltelijk zijn, is buffering nodig. Dit kan leiden tot iets hogere latency dan bij een standaard HTTP-request. In zulke gevallen is alleen het outputstreamingendpoint waarschijnlijk een betere optie.
• Je snel wilt experimenteren of een prototype wilt maken. Werken met WebSockets kan moeilijker en complexer zijn dan een standaard HTTP API gebruiken, wat snelle ontwikkeling en tests kan vertragen.
• De hoogst mogelijke consistentie van het grootste belang is. Houd dan rekening met het contextbegrip van de AI. Omdat de AI aan het begin van de request niet de volledige context krijgt, begrijpt deze de tekst slechts gedeeltelijk, wat in sommige gevallen problemen kan veroorzaken. Je kunt echter experimenteren met enkele instellingen die beschikbaar zijn bij WebSocket-streaming, zoals de “chunk_length_schedule”. Deze parameter bepaalt hoe groot de blokken moeten zijn voordat de AI tekst begint te genereren.

Gebruik in deze gevallen in plaats daarvan de Text to Speech API.

Bekijk de WebSockets API-referentie. voor meer informatie.