Scribe v2 Realtime
O Scribe v2 Realtime, nosso modelo mais rápido e preciso de reconhecimento de fala ao vivo, foi lançado oficialmente. Ele oferece precisão de ponta em mais de 92 idiomas, com uma latência ultrabaixa de 150 ms. Leia mais aqui.
Plataforma de Agents
- Feedback do widget ao encerrar a chamada: Os widgets agora oferecem suporte à coleta personalizável de feedback ao fim da chamada, com campos opcionais de avaliação e comentário, permitindo coletar feedback dos usuários diretamente nas conversas com seus agentes.
- Configuração de timeout flexível: Adicionamos configurações abrangentes de timeout flexível para controlar como os agentes lidam com pausas na conversa, com prompts e comportamentos configuráveis nos níveis de turno e conversa.
- Filtragem avançada de conversas: O endpoint de conversas agora oferece suporte à filtragem por intervalo de duração da chamada, parâmetros de avaliação, parâmetros de coleta de dados e nomes específicos de ferramentas.
- Feedback de conversa aprimorado: Atualizamos o sistema de feedback de conversa com tipos de feedback estruturados, incluindo avaliações e comentários, para melhorar o acompanhamento da experiência do usuário.
ElevenCreative Studio
- Metadados de projeto ampliados: Os projetos agora incluem rastreamento abrangente de ativos, com miniaturas de vídeo, referências de áudio externas e informações aprimoradas de snapshots, incluindo duração do áudio.
Cobrança
- Detalhes de fatura aprimorados: As respostas de fatura agora incluem informações detalhadas sobre descontos com um novo array
discounts, substituindo os campos descontinuadosdiscount_percent_offediscount_amount_off. Os campossubtotal_centsetax_centsfornecem uma divisão mais clara da fatura.
API de música
- Melhorias na latência de separação de stems: O endpoint de separação de stems foi atualizado para lidar melhor com arquivos de áudio e fornecer uma latência mais previsível para solicitações de processamento.
Lançamentos de SDK
SDK JavaScript
- v2.23.0 - Atualizamos o endpoint de Speech to Text (Scribe) para
scribe_realtimee exportamos tipos TypeScript adicionais para melhorar a experiência do desenvolvedor. - v2.22.0 - Atualizado com as mudanças mais recentes no esquema da API, incluindo filtragem de conversas, configuração de timeout flexível e recursos de feedback do widget.
SDK Python
- v2.22.1 - Atualizamos o endpoint de Speech to Text (Scribe) para
scribe_realtimee corrigimos problemas de importação circular para melhorar a estabilidade. - v2.22.0 - Atualizado com as mudanças mais recentes no esquema da API, incluindo filtragem de conversas, configuração de timeout flexível e recursos de feedback do widget.
Pacotes de Agents
- @elevenlabs/client@0.10.0 - Atualizamos a configuração do endpoint em tempo real e melhoramos a documentação.
- @elevenlabs/react@0.10.0 - Atualizamos a configuração do endpoint em tempo real e melhoramos a documentação.
- @elevenlabs/types@0.2.0 - Atualizamos as definições de tipos para corresponder às mudanças mais recentes no esquema da API.
- @elevenlabs/react@0.9.2 - Pequenas correções de bugs e melhorias de estabilidade.
- @elevenlabs/convai-widget-embed@0.5.1 - Atualizamos a funcionalidade de incorporação do widget com suporte a feedback ao encerrar a chamada.
- @elevenlabs/convai-widget-core@0.5.1 - Adicionamos a configuração de feedback ao encerrar a chamada ao núcleo do widget.
- @elevenlabs/convai-widget-embed@0.5.0 - Adicionamos suporte à coleta personalizável de feedback ao encerrar a chamada.
- @elevenlabs/convai-widget-core@0.5.0 - Introduzimos
WidgetEndFeedbackConfigeWidgetEndFeedbackTypepara o processamento de feedback. - @elevenlabs/client@0.9.2 - Atualizamos a configuração do cliente com as mudanças mais recentes da API.
SDK Android
- v0.5.0 - Adicionamos as funções
setVolumeegetVolumepara controle programático de áudio, com uma implementação de exemplo que inclui uma barra de ajuste de volume no app de exemplo.
API
Ver alterações da API
Endpoints atualizados
Plataforma de Agents
Gerenciamento de conversas
-
- Adicionado o parâmetro de consulta
call_duration_min_secs(inteiro) para filtrar conversas pela duração mínima da chamada - Adicionado o parâmetro de consulta
call_duration_max_secs(inteiro) para filtrar conversas pela duração máxima da chamada - Adicionado o parâmetro de consulta
evaluation_params(array de strings) para filtrar por critérios de avaliação - Adicionado o parâmetro de consulta
data_collection_params(array de strings) para filtrar por parâmetros de coleta de dados - Adicionado o parâmetro de consulta
tool_names(array de strings) para filtrar conversas que usaram ferramentas específicas
- Adicionado o parâmetro de consulta
-
Enviar feedback sobre uma conversa
- Agora usa
ConversationFeedbackRequestModelcom tipos de feedback estruturados - Adicionado o campo
typepara especificar a categoria de feedback - Adicionado o campo
ratingpara feedback numérico - Adicionado o campo
commentpara feedback em texto
- Agora usa
Configuração do agente
- Obter widget do agente
- Adicionado o campo
end_feedbackcomWidgetEndFeedbackConfigpara configurar a coleta de feedback ao encerrar a chamada - Oferece suporte a campos opcionais de avaliação e comentário em formulários de feedback
- Adicionado o campo
- Obter agente & Atualizar agente
- Esquema de resposta atualizado para incluir novas opções de configuração da plataforma
- Esquema de solicitação aprimorado com campos adicionais de configurações
Configuração de turno e conversa
-
Criar agente, Simular conversa, Simular stream de conversa
- Adicionado o campo
soft_timeout_configpara controlar o comportamento durante pausas nas conversas - Adicionadas substituições de configuração de
turnpor meio deTurnConfigOverrideeTurnConfigOverrideConfig - Adicionado
initial_wait_timeaTurnConfigpara controlar o tempo inicial de resposta - Configuração disponível nos níveis de substituição de conversa e workflow
- Adicionado o campo
Testes
-
- Esquema de solicitação aprimorado para suporte a expressões de workflow
- Esquema de resposta atualizado com campos adicionais de resultado de teste
-
- A resposta inclui dados aprimorados de resultado de teste
- Esquema atualizado para resultados de expressões de workflow
ElevenCreative Studio
-
- Adicionado o campo
assets(obrigatório), contendo vídeos e referências de áudio externas - Introduzido
ProjectVideoResponseModelpara metadados de ativos de vídeo - Introduzido
ProjectExternalAudioResponseModelpara rastreamento de áudio externo - Introduzido
ProjectVideoThumbnailSheetResponseModelpara miniaturas de vídeo
- Adicionado o campo
-
- Resposta reestruturada com o novo
ProjectSnapshotExtendedResponseModel - Adicionado o campo
audio_duration_secs(obrigatório) aos dados do snapshot - Removido
character_alignmentsdeProjectSnapshotResponseModel - Introduzido
ProjectSnapshotsResponseModelpara coleções de snapshots
- Resposta reestruturada com o novo
Cobrança
- Obter assinatura
- Adicionado o array
discounts(obrigatório) com entradas deDiscountResponseModel - Descontinuado o campo
discount_percent_off(ainda disponível, mas marcado para remoção) - Descontinuado o campo
discount_amount_off(ainda disponível, mas marcado para remoção) - Adicionado o campo
subtotal_cents(inteiro, anulável) para totais de fatura antes de impostos - Adicionado o campo
tax_cents(inteiro, anulável) para valores de impostos - Atualizados os exemplos de fatura para incluir os novos campos de desconto e total
- Adicionado o array
Speech to Text
- Transcrever áudio
- Esquema de resposta atualizado com dados de transcrição aprimorados
Text to Speech
-
Texto em fala com timestamps & Transmitir texto em fala com timestamps
- Esquema de resposta atualizado com dados de timestamps aprimorados
-
Texto em diálogo com timestamps & Transmitir texto em diálogo com timestamps
- Esquema de resposta atualizado com dados aprimorados de timestamps e segmentos de voz
Gerenciamento de voz
-
Obter voz, Obter configurações de voz, Obter configurações de voz padrão
- Esquemas de resposta atualizados com novos campos de metadados e configuração de voz
-
- Esquema de solicitação atualizado para modificação das configurações de voz
-
- Esquema de resposta atualizado com novos dados de geração de voz
Clonagem de Voz Profissional (PVC)
- Obter áudio de amostra de PVC & Obter áudio de locutor separado de PVC
- Esquemas de resposta atualizados para recuperação de amostras de áudio
Predefinições de idioma
- Os modelos de predefinição de idioma agora incluem o campo
soft_timeout_translationpara mensagens localizadas de timeout flexível
Gatilhos de integração com a API
- Registrada uma nova coleção de API:
convai_api_integration_trigger_connections
Descontinuações
- Os campos de fatura
discount_percent_offediscount_amount_offforam descontinuados; use o arraydiscounts