Hoppa till navigering
Funktioner

Speech Engine

Lägg till röst i din egen chattagent eller LLM med ElevenLabs.

Översikt

ElevenLabs Speech Engine lägger till röstfunktioner i alla chattagenter. ElevenLabs hanterar tal-till-text och text-till-tal, medan din server tillhandahåller LLM-logiken. SDK:t hanterar anslutningens livscykel, turordning och avbrottsidentifiering, så att du kan fokusera på agentens beteende.

Snabbstart

Bygg en röstagent med ElevenLabs SDK.

Referens för JavaScript SDK

Klasser, metoder och händelser för JavaScript SDK.

Referens för Python SDK

Klasser, metoder och händelser för Python SDK.

Så fungerar det

Speech Engine ansluter din server till ElevenLabs via WebSocket. Varje anslutning representerar en konversation.

  1. En användare pratar i webbläsaren. ElevenLabs fångar upp ljudet och transkriberar det.
  2. Transkriberingen skickas till din server tillsammans med hela konversationshistoriken.
  3. Din server skickar transkriberingen till din LLM och strömmar svaret tillbaka.
  4. ElevenLabs omvandlar texten till tal och spelar upp den i webbläsaren.

När du ska använda Speech Engine

Speech Engine är utformat för utvecklare som vill använda sin egen LLM och styra konversationslogiken på sin egen server. Använd det när du behöver:

  • Lägga till röst i en befintlig textbaserad chattagent
  • Använda en specifik LLM, finjusterad modell eller anpassad inferenspipeline
  • Ha full kontroll över konversationsroutning, kontexthantering och verktygsanrop
  • Integrera röst i en befintlig serverapplikation (Express, FastAPI osv.)

Om du vill ha en helt driftad lösning där ElevenLabs tillhandahåller LLM, kunskapsbas och verktyg använder du ElevenAgents i stället.

Viktiga funktioner

  • Alla LLM:er - använd OpenAI, Anthropic, Google Gemini eller vilken modell som helst som genererar text. SDK:t extraherar automatiskt text från streamformaten för OpenAI, Anthropic och Gemini.
  • Avbrottshantering - när användaren pratar mitt i ett svar avbryter SDK:t automatiskt den pågående LLM-begäran via en AbortSignal (TypeScript) eller uppgiftsavbrott (Python).
  • Streaming - svar strömmas till webbläsaren medan de genereras. Skicka en sträng, en asynkron itererbar eller ett inbyggt LLM-streamobjekt.
  • Turordning - SDK:t hanterar konversationsturer, så din server behöver bara svara på transkriberingar.

Konversationslängd

Speech Engine stöder konversationer på upp till 2 timmar (7 200 sekunder). Som standard avslutas en konversation efter 600 sekunder (10 minuter). Om du vill tillåta längre konversationer höjer du conversation.max_duration_seconds i API:t eller Maximal konversationslängd på kontrollpanelens flik Avancerat. Se Konfigurera maximal konversationslängd.

IP-tillåtelselista

Om din server ligger bakom en brandvägg eller använder IP-baserade åtkomstkontroller kan du tillåtelista de statiska utgående IP-adresser som ElevenLabs WebSocket-anslutningar kommer från. Se IP-tillåtelselista för den fullständiga listan över IP-adresser.

Med IP-tillåtelselista säkerställer du att din server endast accepterar WebSocket-anslutningar från ElevenLabs system.

Vanliga frågor

Alla LLM:er som genererar text. SDK:t har inbyggd streamextrahering för OpenAI (Responses API och Chat Completions API), Anthropic Messages API och Google Gemini API. För andra leverantörer skickar du en vanlig sträng eller en asynkron itererbar med strängdelar.

ElevenAgents är en helt driftad plattform där ElevenLabs tillhandahåller LLM, kunskapsbas och verktyg. Speech Engine är för utvecklare som vill använda sin egen LLM och styra konversationslogiken på sin egen server.

I TypeScript kan du koppla Speech Engine till valfri Node.js HTTP-server (Express, Fastify eller vanlig http.createServer()), eller köra en fristående WebSocket-server. I Python tillhandahåller SDK:t en fristående server via engine.serve(), eller så kan du integrera med FastAPI, Starlette eller valfritt ASGI-ramverk med engine.create_session().