Scribe v2 Realtime

O Scribe v2 Realtime, nosso modelo mais rápido e preciso de reconhecimento de fala ao vivo, foi lançado oficialmente. Ele oferece precisão de ponta em mais de 92 idiomas, com uma latência ultrabaixa de 150 ms. Leia mais aqui.

Plataforma de Agents

  • Feedback do widget ao encerrar a chamada: Os widgets agora oferecem suporte à coleta personalizável de feedback ao fim da chamada, com campos opcionais de avaliação e comentário, permitindo coletar feedback dos usuários diretamente nas conversas com seus agentes.
  • Configuração de timeout flexível: Adicionamos configurações abrangentes de timeout flexível para controlar como os agentes lidam com pausas na conversa, com prompts e comportamentos configuráveis nos níveis de turno e conversa.
  • Filtragem avançada de conversas: O endpoint de conversas agora oferece suporte à filtragem por intervalo de duração da chamada, parâmetros de avaliação, parâmetros de coleta de dados e nomes específicos de ferramentas.
  • Feedback de conversa aprimorado: Atualizamos o sistema de feedback de conversa com tipos de feedback estruturados, incluindo avaliações e comentários, para melhorar o acompanhamento da experiência do usuário.

ElevenCreative Studio

  • Metadados de projeto ampliados: Os projetos agora incluem rastreamento abrangente de ativos, com miniaturas de vídeo, referências de áudio externas e informações aprimoradas de snapshots, incluindo duração do áudio.

Cobrança

  • Detalhes de fatura aprimorados: As respostas de fatura agora incluem informações detalhadas sobre descontos com um novo array discounts, substituindo os campos descontinuados discount_percent_off e discount_amount_off. Os campos subtotal_cents e tax_cents fornecem uma divisão mais clara da fatura.

API de música

  • Melhorias na latência de separação de stems: O endpoint de separação de stems foi atualizado para lidar melhor com arquivos de áudio e fornecer uma latência mais previsível para solicitações de processamento.

Lançamentos de SDK

SDK JavaScript

  • v2.23.0 - Atualizamos o endpoint de Speech to Text (Scribe) para scribe_realtime e exportamos tipos TypeScript adicionais para melhorar a experiência do desenvolvedor.
  • v2.22.0 - Atualizado com as mudanças mais recentes no esquema da API, incluindo filtragem de conversas, configuração de timeout flexível e recursos de feedback do widget.

SDK Python

  • v2.22.1 - Atualizamos o endpoint de Speech to Text (Scribe) para scribe_realtime e corrigimos problemas de importação circular para melhorar a estabilidade.
  • v2.22.0 - Atualizado com as mudanças mais recentes no esquema da API, incluindo filtragem de conversas, configuração de timeout flexível e recursos de feedback do widget.

Pacotes de Agents

SDK Android

  • v0.5.0 - Adicionamos as funções setVolume e getVolume para controle programático de áudio, com uma implementação de exemplo que inclui uma barra de ajuste de volume no app de exemplo.

API

Endpoints atualizados

Plataforma de Agents

Gerenciamento de conversas

  • Obter conversas

    • Adicionado o parâmetro de consulta call_duration_min_secs (inteiro) para filtrar conversas pela duração mínima da chamada
    • Adicionado o parâmetro de consulta call_duration_max_secs (inteiro) para filtrar conversas pela duração máxima da chamada
    • Adicionado o parâmetro de consulta evaluation_params (array de strings) para filtrar por critérios de avaliação
    • Adicionado o parâmetro de consulta data_collection_params (array de strings) para filtrar por parâmetros de coleta de dados
    • Adicionado o parâmetro de consulta tool_names (array de strings) para filtrar conversas que usaram ferramentas específicas
  • Enviar feedback sobre uma conversa

    • Agora usa ConversationFeedbackRequestModel com tipos de feedback estruturados
    • Adicionado o campo type para especificar a categoria de feedback
    • Adicionado o campo rating para feedback numérico
    • Adicionado o campo comment para feedback em texto

Configuração do agente

  • Obter widget do agente
    • Adicionado o campo end_feedback com WidgetEndFeedbackConfig para configurar a coleta de feedback ao encerrar a chamada
    • Oferece suporte a campos opcionais de avaliação e comentário em formulários de feedback
  • Obter agente & Atualizar agente
    • Esquema de resposta atualizado para incluir novas opções de configuração da plataforma
    • Esquema de solicitação aprimorado com campos adicionais de configurações

Configuração de turno e conversa

  • Criar agente, Simular conversa, Simular stream de conversa

    • Adicionado o campo soft_timeout_config para controlar o comportamento durante pausas nas conversas
    • Adicionadas substituições de configuração de turn por meio de TurnConfigOverride e TurnConfigOverrideConfig
    • Adicionado initial_wait_time a TurnConfig para controlar o tempo inicial de resposta
    • Configuração disponível nos níveis de substituição de conversa e workflow

Testes

  • Executar testes de agente

    • Esquema de solicitação aprimorado para suporte a expressões de workflow
    • Esquema de resposta atualizado com campos adicionais de resultado de teste
  • Obter invocação de teste

    • A resposta inclui dados aprimorados de resultado de teste
    • Esquema atualizado para resultados de expressões de workflow

ElevenCreative Studio

  • Obter projeto

    • Adicionado o campo assets (obrigatório), contendo vídeos e referências de áudio externas
    • Introduzido ProjectVideoResponseModel para metadados de ativos de vídeo
    • Introduzido ProjectExternalAudioResponseModel para rastreamento de áudio externo
    • Introduzido ProjectVideoThumbnailSheetResponseModel para miniaturas de vídeo
  • Obter snapshot do projeto

    • Resposta reestruturada com o novo ProjectSnapshotExtendedResponseModel
    • Adicionado o campo audio_duration_secs (obrigatório) aos dados do snapshot
    • Removido character_alignments de ProjectSnapshotResponseModel
    • Introduzido ProjectSnapshotsResponseModel para coleções de snapshots

Cobrança

  • Obter assinatura
    • Adicionado o array discounts (obrigatório) com entradas de DiscountResponseModel
    • Descontinuado o campo discount_percent_off (ainda disponível, mas marcado para remoção)
    • Descontinuado o campo discount_amount_off (ainda disponível, mas marcado para remoção)
    • Adicionado o campo subtotal_cents (inteiro, anulável) para totais de fatura antes de impostos
    • Adicionado o campo tax_cents (inteiro, anulável) para valores de impostos
    • Atualizados os exemplos de fatura para incluir os novos campos de desconto e total

Speech to Text

  • Transcrever áudio
    • Esquema de resposta atualizado com dados de transcrição aprimorados

Text to Speech

Gerenciamento de voz

Clonagem de Voz Profissional (PVC)

Predefinições de idioma

  • Os modelos de predefinição de idioma agora incluem o campo soft_timeout_translation para mensagens localizadas de timeout flexível

Gatilhos de integração com a API

  • Registrada uma nova coleção de API: convai_api_integration_trigger_connections

Descontinuações

  • Os campos de fatura discount_percent_off e discount_amount_off foram descontinuados; use o array discounts