Skip to navigation
Mogelijkheden

Speech Engine

Voeg met ElevenLabs spraak toe aan je eigen chatagent of LLM.

Overzicht

ElevenLabs Speech Engine voegt spraakmogelijkheden toe aan elke chatagent. ElevenLabs verzorgt speech-to-text en text-to-speech, terwijl je server de LLM-logica levert. De SDK beheert de verbindingslevenscyclus, beurtwisseling en interruptiedetectie, zodat jij je kunt richten op het gedrag van je agent.

Snelstart

Bouw een spraakagent met de ElevenLabs SDK.

JavaScript SDK-referentie

Klassen, methoden en events voor de JavaScript SDK.

Python SDK-referentie

Klassen, methoden en events voor de Python SDK.

Hoe het werkt

Speech Engine verbindt je server via WebSocket met ElevenLabs. Elke verbinding vertegenwoordigt één gesprek.

  1. Een gebruiker spreekt in de browser. ElevenLabs legt de audio vast en transcribeert deze.
  2. Het transcript wordt samen met de volledige gesprekshistorie naar je server gestuurd.
  3. Je server geeft het transcript door aan je LLM en streamt het antwoord terug.
  4. ElevenLabs zet de tekst om in spraak en speelt deze af in de browser.

Wanneer je Speech Engine gebruikt

Speech Engine is ontworpen voor ontwikkelaars die hun eigen LLM willen gebruiken en de gesprekslogica op hun eigen server willen beheren. Gebruik het wanneer je het volgende nodig hebt:

  • Spraak toevoegen aan een bestaande chatagent op basis van tekst
  • Een specifieke LLM, gefinetuned model of aangepaste inferencepipeline gebruiken
  • Volledige controle houden over gespreksroutering, contextbeheer en tool calling
  • Spraak integreren in een bestaande serverapplicatie (Express, FastAPI, enz.)

Als je een volledig gehoste oplossing wilt waarbij ElevenLabs de LLM, kennisbank en tools levert, gebruik dan ElevenAgents.

Belangrijkste functies

  • Elke LLM - gebruik OpenAI, Anthropic, Google Gemini of elk ander model dat tekst produceert. De SDK extraheert automatisch tekst uit streamformats van OpenAI, Anthropic en Gemini.
  • Interruptieafhandeling - wanneer de gebruiker tijdens een antwoord spreekt, annuleert de SDK het actieve LLM-request automatisch via een AbortSignal (TypeScript) of taakannulering (Python).
  • Streaming - antwoorden worden naar de browser gestreamd zodra ze worden gegenereerd. Geef een string, een async iterable of een native LLM-streamobject door.
  • Beurtwisseling - de SDK beheert gespreksbeurten, dus je server hoeft alleen op transcripties te reageren.

IP-allowlisting

Als je server achter een firewall staat of op IP gebaseerde toegangscontroles gebruikt, kun je de statische uitgaande IP-adressen allowlisten waarvan ElevenLabs WebSocket-verbindingen afkomstig zijn. Zie IP-allowlisting voor de volledige lijst met IP-adressen.

Met IP-allowlisting zorg je ervoor dat je server alleen WebSocket-verbindingen van de systemen van ElevenLabs accepteert.

Veelgestelde vragen

Elke LLM die tekst produceert. De SDK heeft ingebouwde streamextractie voor OpenAI (Responses API en Chat Completions API), Anthropic Messages API en Google Gemini API. Geef voor andere providers een gewone string of een async iterable van stringchunks door.

ElevenAgents is een volledig gehost platform waarbij ElevenLabs de LLM, kennisbank en tools levert. Speech Engine is voor ontwikkelaars die hun eigen LLM willen gebruiken en de gesprekslogica op hun eigen server willen beheren.

In TypeScript kun je Speech Engine koppelen aan elke Node.js HTTP-server (Express, Fastify of gewone http.createServer()), of een zelfstandige WebSocket-server uitvoeren. In Python biedt de SDK een zelfstandige server via engine.serve(), of kun je integreren met FastAPI, Starlette of elk ASGI-framework met engine.create_session().