Speech Engine
Adicione voz ao seu próprio agente de chat ou LLM com a ElevenLabs.
Visão geral
O Speech Engine da ElevenLabs adiciona recursos de voz a qualquer agente de chat. A ElevenLabs processa a conversão de fala em texto e de texto em fala, enquanto seu servidor fornece a lógica do LLM. O SDK gerencia o ciclo de vida da conexão, a alternância de turnos e a detecção de interrupções para que você possa se concentrar no comportamento do seu agente.
Como funciona
O Speech Engine conecta seu servidor à ElevenLabs por WebSocket. Cada conexão representa uma conversa.
- Um usuário fala no navegador. A ElevenLabs captura o áudio e o transcreve.
- A transcrição é enviada ao seu servidor junto com o histórico completo da conversa.
- Seu servidor envia a transcrição ao LLM e transmite a resposta de volta.
- A ElevenLabs converte o texto em fala e o reproduz no navegador.
Quando usar o Speech Engine
O Speech Engine foi desenvolvido para desenvolvedores que querem usar o próprio LLM e controlar a lógica da conversa no próprio servidor. Use-o quando precisar:
- Adicionar voz a um agente de chat baseado em texto já existente
- Usar um LLM específico, um modelo ajustado ou um pipeline de inferência personalizado
- Manter controle total sobre o roteamento de conversas, o gerenciamento de contexto e a chamada de ferramentas
- Integrar voz a uma aplicação de servidor existente (Express, FastAPI etc.)
Se quiser uma solução totalmente hospedada em que a ElevenLabs fornece o LLM, a base de conhecimento e as ferramentas, use o ElevenAgents.
Principais recursos
- Qualquer LLM - use OpenAI, Anthropic, Google Gemini ou qualquer modelo que gere texto. O SDK extrai automaticamente o texto dos formatos de stream da OpenAI, Anthropic e Gemini.
- Gerenciamento de interrupções - quando o usuário fala durante uma resposta, o SDK cancela automaticamente a solicitação de LLM em andamento usando um
AbortSignal(TypeScript) ou cancelamento de tarefa (Python). - Streaming - as respostas são transmitidas ao navegador à medida que são geradas. Passe uma string, um iterável assíncrono ou um objeto de stream nativo de LLM.
- Alternância de turnos - o SDK gerencia os turnos da conversa, então seu servidor só precisa responder às transcrições.
Duração da conversa
O Speech Engine oferece suporte a conversas de até 2 horas (7.200 segundos). Por padrão, uma
conversa termina após 600 segundos (10 minutos). Para permitir conversas mais longas, aumente
conversation.max_duration_seconds na API ou Duração máxima da conversa na aba
Avançado do painel. Consulte
Configurar a duração máxima da conversa.
Lista de permissões de IP
Se seu servidor estiver atrás de um firewall ou usar controles de acesso baseados em IP, você poderá incluir na lista de permissões os IPs de saída estáticos de onde se originam as conexões WebSocket da ElevenLabs. Consulte Lista de permissões de IP para ver a lista completa de endereços IP.
Usar uma lista de permissões de IP garante que seu servidor aceite conexões WebSocket apenas dos sistemas da ElevenLabs.
Perguntas frequentes
Quais LLMs são compatíveis?
Qualquer LLM que gere texto. O SDK tem extração de stream integrada para a OpenAI (API Responses e API Chat Completions), API Messages da Anthropic e API Google Gemini. Para outros provedores, passe uma string simples ou um iterável assíncrono de blocos de string.
Qual é a diferença entre o Speech Engine e o ElevenAgents?
O ElevenAgents é uma plataforma totalmente hospedada em que a ElevenLabs fornece o LLM, a base de conhecimento e as ferramentas. O Speech Engine é para desenvolvedores que querem usar o próprio LLM e controlar a lógica da conversa no próprio servidor.
Quais frameworks de servidor são compatíveis?
Em TypeScript, você pode conectar o Speech Engine a qualquer servidor HTTP Node.js (Express, Fastify ou
http.createServer() simples) ou executar um servidor WebSocket independente. Em Python, o SDK fornece
um servidor independente por engine.serve(), ou você pode integrar com FastAPI, Starlette ou qualquer
framework ASGI usando engine.create_session().