Hoppa till navigering
Funktioner

Speech Engine

Lägg till röst i din egen chattagent eller LLM med ElevenLabs.

Översikt

ElevenLabs Speech Engine lägger till röstfunktioner i alla chattagenter. ElevenLabs hanterar tal-till-text och text-till-tal medan din server tillhandahåller LLM-logiken. SDK:n hanterar anslutningens livscykel, turtagning och avbrottsdetektering så att du kan fokusera på din agents beteende.

Snabbstart

Bygg en röstagent med ElevenLabs SDK.

Referens för JavaScript SDK

Klasser, metoder och händelser för JavaScript SDK.

Referens för Python SDK

Klasser, metoder och händelser för Python SDK.

Så fungerar det

Speech Engine ansluter din server till ElevenLabs via WebSocket. Varje anslutning representerar en konversation.

  1. En användare pratar i webbläsaren. ElevenLabs fångar upp ljudet och transkriberar det.
  2. Transkriptionen skickas till din server tillsammans med hela konversationshistoriken.
  3. Din server skickar transkriptionen till din LLM och strömmar tillbaka svaret.
  4. ElevenLabs omvandlar texten till tal och spelar upp den i webbläsaren.

När du ska använda Speech Engine

Speech Engine är utformat för utvecklare som vill använda sin egen LLM och styra konversationslogiken på sin egen server. Använd det när du behöver:

  • Lägga till röst i en befintlig textbaserad chattagent
  • Använda en specifik LLM, finjusterad modell eller anpassad inferenspipeline
  • Ha full kontroll över konversationsdirigering, kontexthantering och verktygsanrop
  • Integrera röst i en befintlig serverapplikation (Express, FastAPI osv.)

Om du vill ha en helt driftad lösning där ElevenLabs tillhandahåller LLM, kunskapsbas och verktyg kan du använda ElevenAgents i stället.

Viktiga funktioner

  • Alla LLM:er - använd OpenAI, Anthropic, Google Gemini eller valfri modell som producerar text. SDK:n extraherar automatiskt text från strömformaten för OpenAI, Anthropic och Gemini.
  • Avbrottshantering - när användaren pratar mitt i ett svar avbryter SDK:n automatiskt den pågående LLM-begäran via en AbortSignal (TypeScript) eller uppgiftsavbrott (Python).
  • Strömning - svar strömmas till webbläsaren medan de genereras. Skicka en sträng, en asynkron itererbar eller ett objekt för en inbyggd LLM-ström.
  • Turtagning - SDK:n hanterar konversationsturer, så din server behöver bara svara på transkriptioner.

Konversationens längd

Speech Engine har stöd för konversationer på upp till 40 minuter (2 400 sekunder). Som standard avslutas en konversation efter 600 sekunder (10 minuter). Om du vill tillåta längre konversationer höjer du conversation.max_duration_seconds i API:t eller Maximal konversationslängd på instrumentpanelens flik Avancerat. Se Konfigurera maximal konversationslängd. Om du behöver konversationer som är längre än 40 minuter kan du kontakta vårt team.

IP-tillåtelselista

Om din server finns bakom en brandvägg eller använder IP-baserade åtkomstkontroller kan du tillåtslista de statiska utgående IP-adresser som ElevenLabs WebSocket-anslutningar kommer från. Se IP-tillåtelselista för den fullständiga listan över IP-adresser.

Med en IP-tillåtelselista säkerställer du att din server bara accepterar WebSocket-anslutningar från ElevenLabs system.

Vanliga frågor

Alla LLM:er som producerar text. SDK:n har inbyggd strömextrahering för OpenAI (Responses API och Chat Completions API), Anthropic Messages API och Google Gemini API. För andra leverantörer skickar du en vanlig sträng eller en asynkron itererbar med strängsegment.

ElevenAgents är en helt driftad plattform där ElevenLabs tillhandahåller LLM, kunskapsbas och verktyg. Speech Engine är för utvecklare som vill använda sin egen LLM och styra konversationslogiken på sin egen server.

I TypeScript kan du ansluta Speech Engine till vilken Node.js HTTP-server som helst (Express, Fastify eller vanlig http.createServer()), eller köra en fristående WebSocket-server. I Python tillhandahåller SDK:n en fristående server via engine.serve(), eller så kan du integrera med FastAPI, Starlette eller valfritt ASGI-ramverk med engine.create_session().