Apresentando o Speech Engine

O ElevenLabs Speech Engine adiciona voz em tempo real ao seu próprio agente de chat ou LLM. A ElevenLabs cuida da conversão de fala em texto, alternância de turnos, conversão de texto em fala e reprodução no navegador, enquanto seu servidor controla a lógica do agente e transmite o texto de resposta por um WebSocket do Speech Engine. Use-o quando quiser adicionar voz a uma infraestrutura personalizada, em vez de uma configuração totalmente hospedada do ElevenAgents.

ElevenAgents

  • Substituições de comportamento de texto: Adicionado text_behavior_overrides, um mapa por ConversationInitiationSource de objetos BehaviorOverride com campos opcionais verbosity, output_format e interaction_budget para o comportamento do agente específico de cada canal.
  • Fontes de integração: Adicionados Intercom, Telegram e Freshdesk.
  • Rastreios de conversa OTLP: Obter detalhes da conversa agora aceita um parâmetro de consulta opcional format. Defina format=otlp_traces para retornar dados de rastreio compatíveis com OTLP junto à carga padrão da conversa.
  • Substituições de palavras-chave do ASR: Adicionados os esquemas ASRConversationalConfigOverride e ASRConversationalConfigOverrideConfig com matrizes opcionais keywords, integrados aos modelos de substituição de cliente da configuração de conversa.
  • Metadados de autenticação de webhook: Os esquemas de configuração de ferramentas de webhook agora expõem auth_resolved_params opcional (matriz de strings), documentando os marcadores de posição de URL resolvidos pela conexão de autenticação.

Música

  • Modo de geração: Adicionado MusicGenerationMode (track, loop, ambience) e um campo opcional generation_mode nos corpos de solicitação de prompt de música.
  • Modelo de vídeo para música: Vídeo para música (POST /v1/music/video-to-music) agora aceita model_id opcional (string, padrão music_v1).

ElevenCreative Studio

  • Créditos de conversão: Os modelos de resposta de estatísticas de conversão de capítulos e vozes agora incluem credits_needed_to_convert opcional (inteiro), que indica os créditos necessários antes da conversão.

Espaços de trabalho

  • Tipos de recurso: Adicionado studio_projects a WorkspaceResourceType.

Lançamentos de SDK

SDK Python

  • v2.50.0 - SDK regenerado para o esquema da API de 25 de maio de 2026.
  • v2.49.1 - Chamadas da API do Speech Engine atualizadas para retornar o objeto de resposta completo.
  • v2.49.0 - SDK regenerado para o esquema da API de 18 a 25 de maio de 2026, incluindo substituições de comportamento de texto do ElevenAgents, generation_mode de música e studio_projects de espaços de trabalho.

SDK JavaScript

  • v2.50.0 - Adicionados métodos e testes ausentes da API de Música, e SDK regenerado para o esquema da API de 25 de maio de 2026.
  • v2.49.1 - Chamadas da API do Speech Engine atualizadas para retornar o objeto de resposta completo.
  • v2.49.0 - SDK regenerado para o esquema da API de 18 a 25 de maio de 2026, incluindo substituições de comportamento de texto do ElevenAgents, generation_mode de música e studio_projects de espaços de trabalho.

Pacotes

API

Endpoints e esquemas atualizados

ElevenAgents

  • Obter detalhes da conversa - GET /v1/convai/conversations/{conversation_id}
    • Adicionado o parâmetro de consulta opcional format; otlp_traces retorna dados de rastreio compatíveis com OTLP
  • Esquemas de configuração do agente
    • Adicionado o mapa text_behavior_overrides, indexado por ConversationInitiationSource, com valores BehaviorOverride (verbosity, output_format, interaction_budget)
  • Enum ConversationInitiationSource
    • Adicionados intercom_integration, telegram_integration e freshdesk_integration
  • Esquemas de substituição do ASR
    • Adicionados ASRConversationalConfigOverride e ASRConversationalConfigOverrideConfig com keywords opcional (matriz de strings)
  • Esquemas de ferramentas de webhook
    • Adicionado auth_resolved_params opcional (matriz de strings) aos modelos de configuração de webhook

Música

  • Vídeo para música - POST /v1/music/video-to-music
    • Adicionado model_id opcional (string, padrão music_v1)
  • Esquemas de solicitação de prompt de música
    • Adicionado generation_mode opcional que faz referência a MusicGenerationMode (track, loop, ambience)

ElevenCreative Studio

  • Esquemas de estatísticas de conversão de capítulos e vozes
    • Adicionado credits_needed_to_convert opcional (inteiro)

Espaços de trabalho

  • Enum WorkspaceResourceType
    • Adicionado studio_projects