API Dubbing v2
Dubbing v2 est désormais disponible via l’API. Il traduit des fichiers audio et vidéo dans plus de 90 langues tout en préservant la voix, le ton et le rythme de chaque locuteur.
La nouvelle API basée sur les projets conserve les transcriptions sources et les traductions au format JSON modifiable. Créez un projet à partir d’un fichier ou d’une URL, ajoutez une ou plusieurs langues cibles, modifiez des segments individuels de transcription ou leurs traductions, puis régénérez uniquement les zones modifiées. Suivez le guide de démarrage rapide de Dubbing pour créer votre premier doublage.
ElevenAgents
- Filtres de garde-fous de conversation : Lister les conversations ajoute les paramètres de requête facultatifs
guardrail_types(GuardrailType[]) etcustom_guardrail_names(tableau de chaînes). La hiérarchie de conversations existante peut désormais être filtrée avec le paramètre facultatifparent_conversation_id(chaîne). - Statut de divergence des branches : Lister les branches d’un agent ajoute le paramètre facultatif
include_commit_status(booléen,falsepar défaut). Lorsqu’il est activé, les résumés de branches incluent les champs nullablecommits_ahead,commits_behindetmerged_into_branch_id. - Contrôles des conversations et des outils : les substitutions côté client prennent désormais en charge
max_duration_secondsetpronunciation_dictionary_locators. La configuration du serveur MCP ajouterequest_metapour transmettre des valeurs MCP_metaaux appels d’outils, et les délais d’expiration des outils webhook prennent désormais en charge jusqu’à 300 secondes. - Utilisation de l’analyse post-appel : la facturation des conversations ajoute une ventilation
analysisavec des totaux cumulés par fonctionnalité et des instantanés d’exécution. Les messages de transcription ajoutenttriggered_guardrails, et les tours de conversation ajoutent l’élément facultatifproducing_llm.
Voix
- Filtres de recherche de voix : Obtenir toutes les voix v2 ajoute les paramètres de requête facultatifs
gender,age,language,accent,use_cases,min_notice_period_days,include_custom_rates,include_live_moderatedethigh_quality.
Versions des SDK
SDK JavaScript
- v2.63.0 - Ajout d’options Speech to Text en temps réel pour les langues secondaires, la détection de langue et d’entités, le filtrage de l’audio d’arrière-plan, la journalisation et l’authentification par jeton à usage unique. Ajout d’événements de transcription finale, d’entité et de requête non valide ; correction de l’envoi des conditions non acceptées, des paramètres
audio_formatdupliqués et des limites VAD inclusives. - v2.62.0 - Ajout de méthodes de mise à jour groupée des transcriptions Dubbing et de
DubbingRegenerateResponse; ajout des filtres de garde-fous de conversation, du statut de commit des branches d’agent, des alertes d’agent et de la prise en charge de MCPrequestMeta. La création de langues cibles n’accepte plusmodelId. - v2.61.0 - Ajout du filtrage de la hiérarchie des conversations, de la facturation de l’analyse post-appel, des métadonnées de garde-fous déclenchés, des détails de conflits de fusion de branches, du masquage des entrées DTMF et de l’import de transcriptions Dubbing. Suppression des types de sessions OpenAI en temps réel exportés et des variantes de résultats d’outils
run_subagent_*.
SDK Python
- v2.63.0 - Ajout d’options Speech to Text en temps réel pour les langues secondaires, la détection de langue et d’entités, le filtrage de l’audio d’arrière-plan, la journalisation et l’authentification par jeton à usage unique. Ajout d’événements de transcription finale, d’entité et de requête non valide ; correction de l’envoi des conditions non acceptées et rejet des connexions sans clé API ni jeton.
- v2.62.0 - Ajout des méthodes Dubbing
update_segmentset deDubbingRegenerateResponse; ajout de la prise en charge deguardrail_types,custom_guardrail_names,include_commit_statuset MCPrequest_meta. Les mises à jour de segments Dubbing utilisent désormais des modèles de corps de requête, et la création de langues cibles n’accepte plusmodel_id. - v2.61.0 - Ajout de
parent_conversation_id, de la facturation de l’analyse, des métadonnées de garde-fous déclenchés, des conflits de fusion de branches, du masquage des entrées DTMF et de l’import de transcriptions Dubbing. Suppression des types de sessions OpenAI en temps réel et des modèles de résultatsrun_subagent_*.
SDK Android
- v0.12.1 - Correction d’un problème où des déconnexions intentionnelles de sessions uniquement textuelles étaient signalées comme
ConversationStatus.ERROR. - v0.12.0 - Ajout de
ConversationConfig.useMediaStreamafin d’acheminer l’audio de conversation via le flux multimédia Android. Les fermetures WebSocket normales distantes signalent désormaisDisconnectionDetails.Agent, tandis que les fermetures initiées localement signalentDisconnectionDetails.User.
Serveur MCP
- v0.12.2 - Correction d’un problème de traversée de chemin.
API
Voir les modifications de l’API
Nouveaux endpoints
Dubbing
- Mettre à jour par lot les segments sources -
PATCH /v1/dubbing/project/{project_id}/transcript/segments- Nécessite
DubbingBulkSegmentUpdateRequest - Met à jour de manière atomique le texte, le locuteur ou le minutage des segments sources
- Renvoie
DubbingBulkSourceSegmentUpdateResponseavec lessegmentset larevisionmis à jour
- Nécessite
- Mettre à jour par lot les segments cibles -
PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments- Nécessite
DubbingBulkTargetSegmentUpdateRequest - Met à jour de manière atomique les traductions de plusieurs segments cibles
- Renvoie
DubbingBulkTargetSegmentUpdateResponseavec lessegmentset larevisionmis à jour
- Nécessite
Endpoints mis à jour
ElevenAgents
- Lister les conversations -
GET /v1/convai/conversations- Ajout de l’élément facultatif
parent_conversation_id(chaîne) - Ajout des éléments facultatifs répétables
guardrail_types(GuardrailType[]) etcustom_guardrail_names(tableau de chaînes)
- Ajout de l’élément facultatif
- Lister les branches d’un agent -
GET /v1/convai/agents/{agent_id}/branches- Ajout de l’élément facultatif
include_commit_status(booléen,falsepar défaut) - Les résumés de branches ajoutent
commits_ahead(entier),commits_behind(entier) etmerged_into_branch_id(chaîne), qui peuvent être null
- Ajout de l’élément facultatif
Voix
- Obtenir toutes les voix v2 -
GET /v2/voices- Ajout des filtres facultatifs
gender,ageetaccent(chaîne) - Ajout des filtres facultatifs
languageetuse_cases(tableau de chaînes) - Ajout des filtres facultatifs
min_notice_period_days(entier),include_custom_rates,include_live_moderatedethigh_quality(booléen)
- Ajout des filtres facultatifs
Modifications des schémas
ElevenAgents
- Les schémas de substitution côté client ajoutent
max_duration_seconds(entier) etpronunciation_dictionary_locators(tableau) - Les schémas d’entrée et de sortie du serveur MCP ajoutent des maps
request_meta - Les paramètres de plateforme d’agent ajoutent
alerting; la détection de langue ajouteonly_at_conversation_start(booléen) AnalysisCharging.last_runest désormais obligatoire et non nullable ; les totaux cumulés ajoutentruns(entier) obligatoire- Les réponses de fragments RAG nécessitent désormais
content_formatetdocument_type