Skip to navigation
Mogelijkheden

Speech Engine

Voeg spraak toe aan je eigen chatagent of LLM met ElevenLabs.

Overzicht

ElevenLabs Speech Engine voegt spraakmogelijkheden toe aan elke chatagent. ElevenLabs verzorgt spraak-naar-tekst en tekst-naar-spraak, terwijl je server de LLM-logica levert. De SDK beheert de verbindingslevenscyclus, beurtwisseling en detectie van onderbrekingen, zodat jij je kunt richten op het gedrag van je agent.

Snelstart

Bouw een spraakagent met de ElevenLabs SDK.

JavaScript SDK-referentie

Klassen, methoden en events voor de JavaScript SDK.

Python SDK-referentie

Klassen, methoden en events voor de Python SDK.

Hoe het werkt

Speech Engine verbindt je server via WebSocket met ElevenLabs. Elke verbinding vertegenwoordigt één gesprek.

  1. Een gebruiker spreekt in de browser. ElevenLabs neemt de audio op en transcribeert deze.
  2. Het transcript wordt samen met de volledige gespreksgeschiedenis naar je server gestuurd.
  3. Je server stuurt het transcript naar je LLM en streamt het antwoord terug.
  4. ElevenLabs zet de tekst om in spraak en speelt deze af in de browser.

Wanneer je Speech Engine gebruikt

Speech Engine is ontworpen voor ontwikkelaars die hun eigen LLM willen gebruiken en de gesprekslogica op hun eigen server willen beheren. Gebruik het wanneer je het volgende wilt:

  • Spraak toevoegen aan een bestaande tekstgebaseerde chatagent
  • Een specifieke LLM, gefinetuned model of custom inference-pipeline gebruiken
  • Volledige controle behouden over gespreksrouting, contextbeheer en tool calls
  • Spraak integreren in een bestaande serverapplicatie (Express, FastAPI, enz.)

Als je een volledig gehoste oplossing wilt waarbij ElevenLabs de LLM, kennisbank en tools levert, gebruik dan ElevenAgents.

Belangrijkste functies

  • Elke LLM - gebruik OpenAI, Anthropic, Google Gemini of elk ander model dat tekst produceert. De SDK haalt automatisch tekst op uit de streamformaten van OpenAI, Anthropic en Gemini.
  • Onderbrekingen afhandelen - wanneer de gebruiker tijdens een antwoord spreekt, annuleert de SDK de actieve LLM-request automatisch via een AbortSignal (TypeScript) of taakannulering (Python).
  • Streaming - antwoorden worden naar de browser gestreamd zodra ze worden gegenereerd. Geef een string, een async iterable of een native LLM-streamobject door.
  • Beurtwisseling - de SDK beheert gespreksbeurten, zodat je server alleen op transcripts hoeft te reageren.

Gespreksduur

Speech Engine ondersteunt gesprekken van maximaal 2 uur (7.200 seconden). Standaard eindigt een gesprek na 600 seconden (10 minuten). Verhoog voor langere gesprekken conversation.max_duration_seconds in de API of Maximale gespreksduur op het tabblad Geavanceerd in het dashboard. Zie De maximale gespreksduur configureren.

IP-allowlisting

Als je server achter een firewall staat of IP-gebaseerde toegangscontroles gebruikt, kun je de statische uitgaande IP-adressen allowlisten waarvan ElevenLabs WebSocket-verbindingen afkomstig zijn. Zie IP-allowlisting voor de volledige lijst met IP-adressen.

Met IP-allowlisting zorg je ervoor dat je server alleen WebSocket-verbindingen van de systemen van ElevenLabs accepteert.

Veelgestelde vragen

Elke LLM die tekst produceert. De SDK heeft ingebouwde streamextractie voor OpenAI (Responses API en Chat Completions API), Anthropic Messages API en Google Gemini API. Geef voor andere providers een gewone string of een async iterable van stringchunks door.

ElevenAgents is een volledig gehost platform waarbij ElevenLabs de LLM, kennisbank en tools levert. Speech Engine is voor ontwikkelaars die hun eigen LLM willen gebruiken en de gesprekslogica op hun eigen server willen beheren.

In TypeScript kun je Speech Engine koppelen aan elke Node.js HTTP-server (Express, Fastify of gewone http.createServer()), of een zelfstandige WebSocket-server uitvoeren. In Python biedt de SDK een zelfstandige server via engine.serve(), of kun je integreren met FastAPI, Starlette of elk ASGI-framework met engine.create_session().