API Dubbing v2

Dubbing v2 est désormais disponible via l’API. Il traduit des fichiers audio et vidéo dans plus de 90 langues tout en préservant la voix, le ton et le rythme de chaque locuteur.

La nouvelle API basée sur les projets conserve les transcriptions sources et les traductions au format JSON modifiable. Créez un projet à partir d’un fichier ou d’une URL, ajoutez une ou plusieurs langues cibles, modifiez des segments individuels de transcription ou leurs traductions, puis régénérez uniquement les zones modifiées. Suivez le guide de démarrage rapide de Dubbing pour créer votre premier doublage.

ElevenAgents

  • Filtres de garde-fous de conversation : Lister les conversations ajoute les paramètres de requête facultatifs guardrail_types (GuardrailType[]) et custom_guardrail_names (tableau de chaînes). La hiérarchie de conversations existante peut désormais être filtrée avec le paramètre facultatif parent_conversation_id (chaîne).
  • Statut de divergence des branches : Lister les branches d’un agent ajoute le paramètre facultatif include_commit_status (booléen, false par défaut). Lorsqu’il est activé, les résumés de branches incluent les champs nullable commits_ahead, commits_behind et merged_into_branch_id.
  • Contrôles des conversations et des outils : les substitutions côté client prennent désormais en charge max_duration_seconds et pronunciation_dictionary_locators. La configuration du serveur MCP ajoute request_meta pour transmettre des valeurs MCP _meta aux appels d’outils, et les délais d’expiration des outils webhook prennent désormais en charge jusqu’à 300 secondes.
  • Utilisation de l’analyse post-appel : la facturation des conversations ajoute une ventilation analysis avec des totaux cumulés par fonctionnalité et des instantanés d’exécution. Les messages de transcription ajoutent triggered_guardrails, et les tours de conversation ajoutent l’élément facultatif producing_llm.

Voix

  • Filtres de recherche de voix : Obtenir toutes les voix v2 ajoute les paramètres de requête facultatifs gender, age, language, accent, use_cases, min_notice_period_days, include_custom_rates, include_live_moderated et high_quality.

Versions des SDK

SDK JavaScript

  • v2.63.0 - Ajout d’options Speech to Text en temps réel pour les langues secondaires, la détection de langue et d’entités, le filtrage de l’audio d’arrière-plan, la journalisation et l’authentification par jeton à usage unique. Ajout d’événements de transcription finale, d’entité et de requête non valide ; correction de l’envoi des conditions non acceptées, des paramètres audio_format dupliqués et des limites VAD inclusives.
  • v2.62.0 - Ajout de méthodes de mise à jour groupée des transcriptions Dubbing et de DubbingRegenerateResponse ; ajout des filtres de garde-fous de conversation, du statut de commit des branches d’agent, des alertes d’agent et de la prise en charge de MCP requestMeta. La création de langues cibles n’accepte plus modelId.
  • v2.61.0 - Ajout du filtrage de la hiérarchie des conversations, de la facturation de l’analyse post-appel, des métadonnées de garde-fous déclenchés, des détails de conflits de fusion de branches, du masquage des entrées DTMF et de l’import de transcriptions Dubbing. Suppression des types de sessions OpenAI en temps réel exportés et des variantes de résultats d’outils run_subagent_*.

SDK Python

  • v2.63.0 - Ajout d’options Speech to Text en temps réel pour les langues secondaires, la détection de langue et d’entités, le filtrage de l’audio d’arrière-plan, la journalisation et l’authentification par jeton à usage unique. Ajout d’événements de transcription finale, d’entité et de requête non valide ; correction de l’envoi des conditions non acceptées et rejet des connexions sans clé API ni jeton.
  • v2.62.0 - Ajout des méthodes Dubbing update_segments et de DubbingRegenerateResponse ; ajout de la prise en charge de guardrail_types, custom_guardrail_names, include_commit_status et MCP request_meta. Les mises à jour de segments Dubbing utilisent désormais des modèles de corps de requête, et la création de langues cibles n’accepte plus model_id.
  • v2.61.0 - Ajout de parent_conversation_id, de la facturation de l’analyse, des métadonnées de garde-fous déclenchés, des conflits de fusion de branches, du masquage des entrées DTMF et de l’import de transcriptions Dubbing. Suppression des types de sessions OpenAI en temps réel et des modèles de résultats run_subagent_*.

SDK Android

  • v0.12.1 - Correction d’un problème où des déconnexions intentionnelles de sessions uniquement textuelles étaient signalées comme ConversationStatus.ERROR.
  • v0.12.0 - Ajout de ConversationConfig.useMediaStream afin d’acheminer l’audio de conversation via le flux multimédia Android. Les fermetures WebSocket normales distantes signalent désormais DisconnectionDetails.Agent, tandis que les fermetures initiées localement signalent DisconnectionDetails.User.

Serveur MCP

  • v0.12.2 - Correction d’un problème de traversée de chemin.

API

Nouveaux endpoints

Dubbing

  • Mettre à jour par lot les segments sources - PATCH /v1/dubbing/project/{project_id}/transcript/segments
    • Nécessite DubbingBulkSegmentUpdateRequest
    • Met à jour de manière atomique le texte, le locuteur ou le minutage des segments sources
    • Renvoie DubbingBulkSourceSegmentUpdateResponse avec les segments et la revision mis à jour
  • Mettre à jour par lot les segments cibles - PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments
    • Nécessite DubbingBulkTargetSegmentUpdateRequest
    • Met à jour de manière atomique les traductions de plusieurs segments cibles
    • Renvoie DubbingBulkTargetSegmentUpdateResponse avec les segments et la revision mis à jour

Endpoints mis à jour

ElevenAgents

  • Lister les conversations - GET /v1/convai/conversations
    • Ajout de l’élément facultatif parent_conversation_id (chaîne)
    • Ajout des éléments facultatifs répétables guardrail_types (GuardrailType[]) et custom_guardrail_names (tableau de chaînes)
  • Lister les branches d’un agent - GET /v1/convai/agents/{agent_id}/branches
    • Ajout de l’élément facultatif include_commit_status (booléen, false par défaut)
    • Les résumés de branches ajoutent commits_ahead (entier), commits_behind (entier) et merged_into_branch_id (chaîne), qui peuvent être null

Voix

  • Obtenir toutes les voix v2 - GET /v2/voices
    • Ajout des filtres facultatifs gender, age et accent (chaîne)
    • Ajout des filtres facultatifs language et use_cases (tableau de chaînes)
    • Ajout des filtres facultatifs min_notice_period_days (entier), include_custom_rates, include_live_moderated et high_quality (booléen)

Modifications des schémas

ElevenAgents

  • Les schémas de substitution côté client ajoutent max_duration_seconds (entier) et pronunciation_dictionary_locators (tableau)
  • Les schémas d’entrée et de sortie du serveur MCP ajoutent des maps request_meta
  • Les paramètres de plateforme d’agent ajoutent alerting ; la détection de langue ajoute only_at_conversation_start (booléen)
  • AnalysisCharging.last_run est désormais obligatoire et non nullable ; les totaux cumulés ajoutent runs (entier) obligatoire
  • Les réponses de fragments RAG nécessitent désormais content_format et document_type