Passer à la navigation

Eleven Realtime

Eleven Realtime is a new family of models for ElevenAgents voice agents, rolling out gradually across workspaces. Each one is a complete voice agent configuration. You pick one model, and ElevenLabs handles the LLM, Speech to Text and Text to Speech settings behind it. Your agent’s system prompt, voice, tools and knowledge base work the same as before.

There are two to choose from. Eleven Realtime v1 Mini (eleven_realtime_v1_mini) is the default, and it’s the fastest and cheapest. Eleven Realtime v1 Max (eleven_realtime_v1_max) reasons before it answers, so use it when your agent has complex instructions or multi-step tool calls.

If you’ve already built on OpenAI’s Realtime API, you don’t need to rewrite your client. The events and the WebSocket transport are the same, so you change the endpoint and the session configuration. Your backend calls Create realtime client secret to get a short-lived secret, and the browser uses it to connect directly.

Realtime Translation

Realtime Translation turns speech in one language into speech in another while the speaker is still talking. It’s a WebSocket API, available now for enterprise workspaces.

You open a connection with a target_language and a voice_id, then stream audio in. You get translated speech back in that voice. You don’t have to say which language the speaker is using, because it’s detected automatically, but you can set source_language if you know it. Along the way, the server also sends live transcripts of the original speech and the translated text, for example to show captions.

eagerness controls the tradeoff between speed and quality. high starts translating soonest, and low waits for more of the sentence. The translated voice uses Eleven v4 Turbo by default, and you can switch to eleven_v3 or eleven_flash_v2_5 with tts_model_id. For sensitive conversations, set enable_zrm=true to use Zero Retention Mode.

Video to Music

Video to Music writes a soundtrack for your video. The Video to music API is now available: you upload a video and get back music that fits it, without writing a music prompt from scratch. Use it to score product videos, ads and social clips.

You can send up to 10 video files (200 MB combined). They’re joined in order and scored as one video. To steer the result, add a text description and up to 10 style tags.

Three options are worth knowing. use_audio_as_reference takes the genre, BPM, instruments and mood from the video’s own audio. add_sfx adds sound effects that match the video. separate_tracks returns the music and the sound effects as separate files in a ZIP, so you can mix them yourself.

ElevenAgents

  • Alerts: Alerts notify a workspace when agent error rates exceed a threshold or rise sharply above their recent baseline. Monitors cover conversation failures, tool failures, webhook errors, guardrail triggers, call initiation errors and evaluation success scores, and run with default thresholds without any setup. Agent-level thresholds and notifiers can be set through platform_settings.alerting on Update agent. Notifications can be delivered as webhooks, to Slack or to PagerDuty.
  • Guardrails generally available: Guardrails are no longer in alpha.
  • Workspace environments: Environments for environment variables can now be managed through the API with List environments, Create environment and Delete environment. A variable without a value for an environment falls back to its production value. Deleting an environment removes its values from all variables, and production cannot be deleted.
  • Answering machine detection actions: Twilio answering machine detection settings on Outbound call and Submit batch call accept actions, a list of rules that pair an action (hang_up) with the answered_by verdicts that trigger it, such as machine_start or fax. Verdicts without a rule leave the call running.
  • New LLMs: Agents can use gemini-4-argon, claude-opus-4-6 and the ElevenLabs-hosted nemotron-35-super-vl-nvfp4. See Models.
  • Authored-only workflow reads: Get agent and Update agent accept include_procedure_generated_workflow_elements. Set it to false to receive only the workflow nodes and edges you authored, excluding the ones compiled from structured procedures. Defaults to true, so existing callers are unchanged.
  • Branch rebasing from any branch: Rebase branch and Preview rebase accept an optional source_branch_id to pull changes from a branch other than main.
  • Delete agents used as subagents: Delete agent accepts force. When true, the agent is deleted even if other agents use it as a subagent, and it is removed from those agents and their branches.
  • Sort agents by last update: List agents accepts sort_by=updated_at, and each agent summary includes updated_at_unix_secs, the last time the main branch or agent-level settings changed.
  • Google Calendar event updates: The Google Calendar integration adds google_calendar_update_event and google_calendar_delete_event tools. Both are privileged tools that can change or cancel any event on the connected calendar.

Music and Sound Effects

  • Zero Retention Mode: Music generation, composition plan, stem separation and video to music endpoints, plus Sound Effects, accept enable_logging=false to use Zero Retention Mode. Zero Retention Mode is available to enterprise customers. Music requests that set store_for_inpainting=true are rejected in this mode.
  • WAV output for sound effects: Sound Effects accepts wav_8000, wav_16000, wav_22050, wav_24000, wav_32000, wav_44100 and wav_48000 output formats.

Speech Engine

  • 40-minute conversations: Speech Engine supports conversations of up to 40 minutes. The default limit remains 10 minutes. Raise conversation.max_duration_seconds to allow longer conversations.
  • Sort by last update: List Speech Engines accepts sort_by=updated_at, and each summary includes updated_at_unix_secs.

Dubbing

  • Subtitles for dubbed languages: Dubbing project language outputs (GET /v1/dubbing/project/{project_id}/language/{language_id}) include subtitles, a signed URL to the translated lines as WebVTT subtitles timed to the source speech. The URL expires one hour after it is issued.

Voices

  • Resubmittable voice reviews: Voice sharing review_status adds declined_resubmittable for declined voices that can be resubmitted for review.

Workspaces

  • Disable service account API keys: Disable service account API key disables a service account API key without changing its other settings. It remains available after a workspace downgrades from a plan that includes service accounts.
  • Group concurrency limits: List workspace groups and List service accounts return group_concurrency_limit, group_dubbing_concurrency_limit and group_music_concurrency_limit for each group, and group permissions add all_resources_access.

SDK releases

JavaScript SDK

  • v2.74.0 - Added client.conversationalAi.realtime.createClientSecret for the Realtime API, with the RealtimeModel and OpenAI-compatible session configuration types, and an environments client with list, create and delete. Also adds force on agent deletion, sourceBranchId on branch rebase and rebase preview, includeProcedureGeneratedWorkflowElements on agent reads, enableLogging on Music and Sound Effects methods, WAV output formats for Sound Effects, service account API key disable, and Twilio answering machine detection actions.
  • v2.73.0 - Added createAndWait helpers for Flows image, video and Text to Speech generations and template runs (client.flows.templates.runs.createAndWait). They create the request and poll until it completes or fails, pacing requests with the server’s Retry-After header. A failed result is returned rather than thrown, and waitTimeoutInSeconds throws FlowsWaitTimeoutError if the work is not finished in time. The regenerated client adds the Video to music add_sfx, separate_tracks and use_audio_as_reference options.

Python SDK

  • v2.74.1 - music.compose_detailed now accepts and forwards enable_logging, which the custom wrapper previously dropped, so Zero Retention Mode works with this method.
  • v2.74.0 - Added client.conversational_ai.realtime.create_client_secret for the Realtime API and an environments client, with the same regenerated API changes as JavaScript SDK v2.74.0.
  • v2.73.0 - Added create_and_wait helpers for Flows image, video and Text to Speech generations and template runs, for both sync and async clients, with wait_timeout_in_seconds and min_poll_interval_in_seconds options and a FlowsWaitTimeoutError exported from elevenlabs.flows_custom. Type checkers such as pyright now resolve client.webhooks.construct_event, client.speech_to_text.realtime, client.text_to_speech.convert_realtime and the custom Music methods. Includes the same regenerated API changes as the JavaScript SDK.
  • v2.73.1 - Fixed the test suite on Python 3.13 and later, and added Python 3.13 and 3.14 to CI.

ElevenLabs CLI

  • v1.7.0 - Regenerated API commands, adding environments, realtime client secrets and service account API key disabling.
  • v1.6.0 - Added create-and-wait commands for flows image, flows video, flows text-to-speech and flows templates runs. Each command returns a finished result, with --wait-timeout and --min-poll-interval options.
  • v1.5.1, v1.5.2, v1.5.3 and v1.6.1 - Bug fixes for onboarding, including Windows support.

Packages

API

New endpoints

ElevenAgents

  • Create realtime client secret - POST /v1/convai/realtime/client_secrets - Create an ephemeral client secret for browser-based Realtime API sessions. Accepts an optional session (OpenAI-compatible session configuration with model of eleven_realtime_v1_mini (default) or eleven_realtime_v1_max, instructions, audio, tools, turn_detection and max_duration_seconds from 60 to 7,200, default 600) and optional expires_after with required seconds (integer). Returns value (string), expires_at (integer) and the echoed session.

  • List environments - GET /v1/convai/environments - List the workspace environments, including production. Each environment has name, nullable updated_at_unix_secs and nullable created_by_user_id.

  • Create environment - POST /v1/convai/environments - Create an environment with a required, unique name (string). Returns 409 if the name is taken.

  • Delete environment - DELETE /v1/convai/environments/{environment} - Delete an environment and remove its values from all environment variables. Returns 204.

Workspaces

  • Disable service account API key - POST /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}/disable - Disable a service account API key without changing its other settings.

Updated endpoints

ElevenAgents

  • Get agent, Update agent, Preview rebase and Preview merge
    • Added optional include_procedure_generated_workflow_elements (boolean, default true). When false, the returned workflow contains only authored nodes and edges, without those generated from structured procedures.
  • Create agent, Get agent and Update agent
    • The llm enum adds gemini-4-argon, claude-opus-4-6 and nemotron-35-super-vl-nvfp4.
    • TTS configuration effects removes the deprecated seed field.
  • Delete agent - Added optional force (boolean, default false).
  • List agents - sort_by adds updated_at. Agent summaries add required updated_at_unix_secs (integer).
  • Rebase branch and Preview rebase - Added optional source_branch_id (string). Defaults to the agent’s main branch.
  • Outbound call, Submit batch call and Get batch call
    • Twilio machine detection configuration adds actions, an array of rules with required action (hang_up) and required answered_by (array of human, fax, unknown, machine_start, machine_end_beep, machine_end_silence or machine_end_other). Each action can appear in at most one rule.
  • Get conversation details
    • Transcript tool calls add nullable tool_id (string). It is not set for tools without an ID, such as system tools.
    • Turn metrics add nullable voice_id (string).
    • Tool results add nullable to_agent and to_node (string).
    • WhatsApp conversation info adds nullable recipient with nullable phone and bsuid (string), and nullable call_permission_request with required state (blocked, sent, accepted or declined) and nullable requested_at_unix (integer).
    • The platform charge category enum adds v3_addon, v4_addon and rag_addon.
  • Get ticket, List tickets and List workspace tickets
    • Ticket responses add required status_changes, an array of objects with status, nullable changed_by_user_id (string) and changed_at_unix_secs (integer).

Text to Speech and Text to Dialogue

Music

Sound Effects

  • Create sound effect
    • Added optional enable_logging query parameter (boolean, default true).
    • output_format adds wav_8000, wav_16000, wav_22050, wav_24000, wav_32000, wav_44100 and wav_48000.

Speech Engine

  • List Speech Engines - sort_by adds updated_at. Summaries add required updated_at_unix_secs (integer).

Speech to Text

  • Create transcript and Get transcript - Edited transcripts add required, read-only edited_text (string), matching text and the edited_text field of the realtime edited_transcript event.

Dubbing

  • GET /v1/dubbing/project/{project_id}/language and GET /v1/dubbing/project/{project_id}/language/{language_id} - Language outputs add nullable subtitles (string, signed URL).

Voices

Workspaces

  • List workspace groups and List service accounts
    • Groups add nullable group_concurrency_limit, group_dubbing_concurrency_limit and group_music_concurrency_limit (integer or unlimited).
    • Group permissions add all_resources_access.

ElevenAgents

  • Merge and search triage tickets: Merge tickets folds up to 50 open tickets from the same agent into one target ticket. Merged tickets keep the status merged and reference the target through merged_into_ticket_id. List tickets and List workspace tickets add a case-insensitive search parameter that matches ticket titles, descriptions, comments and turn comments, and each result includes a search_match excerpt showing where the query matched.
  • Workflow End node outcomes: Workflow End nodes accept an outcome of success (default) or failure, so a workflow can record whether a conversation ended successfully. The conversation error type adds workflow_end_failure.
  • Call queueing enabled for new agents: New agents are created with call queueing enabled unless platform_settings.queueing_config.enabled is set explicitly. Existing agents keep their current setting.
  • Post-call audio webhook retries: When Enable retries is on, post_call_audio webhooks are retried on the same schedule as transcription webhooks. Audio payloads over 50 MiB are not retried, and queued audio retries are capped at 400 MiB per webhook.
  • Strict tool overrides: The conversation override tool_ids_strict makes an overridden tool_ids list the complete set of tools available in the conversation, including tools on workflow nodes. It is ignored when set on the agent itself.
  • Widget end confirmation: The widget can ask users to confirm before ending a chat or call. Enable it with end_confirmation_enabled in the widget configuration or the end-confirmation attribute.

Text to Speech

  • Audio effects: Text to Speech and Text to Dialogue requests accept an optional audio_effects object. It applies a filter preset, perceived distance, a reverb environment, a looped background noise bed and stereo panning to the generated audio. List valid preset, environment and background noise IDs with GET /v1/audio-effects/catalog. Reverb and non-zero panning produce stereo audio and are rejected for ulaw_*, alaw_* and pcm_* output formats. Effects do not change the cost of a request.

Speech to Text

  • Turn prediction commit strategy: The realtime Speech to Text WebSocket adds turn_prediction as a commit_strategy value. In addition to silence-based segmentation, it commits a segment as soon as the model predicts the speaker has finished their turn. It is the default for models that predict turns, and partial transcripts from those models include turn_probability. See transcripts and commit strategies.

Voices

  • Voice collections API: Voice collections can now be managed through the API. Create, list, update and delete collections, and add or remove voices. See List voice collections.

Workspaces

  • Basic seat fallback: Update member accepts allow_downgrade_to_basic_seat. When unlocking a user whose original seat type has no seats available, the user is moved to a basic seat instead of the request failing.
  • Workspace ID on user: Get user returns the workspace_id of the workspace the API key belongs to.

SDK releases

JavaScript SDK

  • v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds the turn_prediction commit strategy.

Python SDK

  • v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds the turn_prediction commit strategy. play() and save() now accept any iterable of audio chunks, such as a list or tuple. RealtimeEvents.CLOSE handlers receive a dictionary with the WebSocket close code and reason; handlers without parameters continue to work.

ElevenLabs CLI

  • v1.5.0 - Regenerated API commands, adding voice collections, the audio effects catalog, triage ticket merging and agent merge proposals.

Packages

  • @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0 - Added a previousText option to Scribe.connect() and useScribe() in microphone mode. The text is sent with the first audio chunk to give the model context, such as existing document text, for casing, punctuation and sentence continuation. MediaDeviceOutput now receives libsampleratePath, so output resampling uses the same custom libsamplerate bundle path as MediaDeviceInput.
  • @elevenlabs/react-native@1.2.29 - Updated to @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0.
  • @elevenlabs/convai-widget-core@0.19.0 and @elevenlabs/convai-widget-embed@0.19.0 - Added an optional confirmation dialog before ending a chat or call, enabled with the end-confirmation attribute or end_confirmation_enabled config, with customizable text. Added carousel rich content with scrollable item cards that can include an image, subtitle, description and actions. Carousels remain in the transcript after a reply, without their actions. Rich content is now shown during voice calls when the transcript is visible.

API

New endpoints

ElevenAgents

  • Merge tickets - POST /v1/convai/triage-tickets/{agentqa_ticket_id}/merge - Merge open tickets into the target ticket. Requires source_ticket_ids (string array, 1–50 items) and returns the target ticket.

Voices

  • List voice collections - GET /v1/voices/collections - List the voice collections the caller can access, sorted by title.
  • Create voice collection - POST /v1/voices/collections - Create a collection with required title and icon (string, maximum 1,000 characters each).
  • Get voice collection - GET /v1/voices/collections/{collection_id} - Retrieve a collection with its title, icon and the caller’s permission_on_resource (admin, editor, commenter or viewer).
  • Update voice collection - PATCH /v1/voices/collections/{collection_id} - Update the optional title or icon.
  • Delete voice collection - DELETE /v1/voices/collections/{collection_id}
  • Add voice to collection - POST /v1/voices/collections/{collection_id}/voice/{voice_id}
  • Remove voice from collection - DELETE /v1/voices/collections/{collection_id}/voice/{voice_id}

Audio effects

  • GET /v1/audio-effects/catalog - List the available filter_presets, environments and background_noises. Each entry has an ID, a name and a nullable description.

Updated endpoints

ElevenAgents

  • Create agent, Get agent and Update agent
    • Workflow End nodes add outcome (success or failure, default success). The field is required in responses.
    • Standalone workflow agent nodes and agent transfer configurations add nullable branch_id (string) to target a specific branch of the destination agent. When unset, the transfer follows the target agent’s traffic deployment. Transfer tool results add a configured branch reason.
    • Prompt override configurations add tool_ids_strict (boolean, default false).
    • TTS configuration effects add pan (number, -1 to 1, default 0). The seed field is deprecated and has no effect.
  • Get widget config - Added end_confirmation_enabled (boolean, default false).
  • List tickets
    • Added optional search (string, maximum 200 characters) and merged_into_ticket_id (string) query parameters.
    • Ticket responses add nullable merged_into_ticket_id and nullable search_match with field (title, description, comment or turn_comment), snippet, highlight_start, highlight_end and nullable turn_index.
  • List workspace tickets - Added optional agent_id, sources, priorities, sort_by (created_at or priority, default created_at), owner_user_id, issue_type, label, merged_into_ticket_id and search query parameters.
  • List tests - Added optional created_by_user_id (string). Use @me for the authenticated user.
  • List test invocations - Added optional test_id (string), version_id (string), start_time and end_time (integer, Unix seconds, inclusive) query parameters.
  • Update agent branch - Added optional auto_rebase (boolean). Branch responses add auto_rebase (boolean, default false).
  • Get conversation details
    • Twilio, SIP trunk and Exotel phone call metadata add nullable call_result with answered, voicemail, busy, no_answer and failed values.
    • Batch call metadata adds nullable cold_attempt (integer) and nullable conversation_type (initial, retry, callback or redirect).
    • The conversation error type adds workflow_end_failure.
  • Knowledge base auto-sync auto_discover is deprecated and no longer has any effect.

Text to Speech

  • Create speech, Stream speech, Create speech with timing and Stream speech with timing
    • Added optional nullable audio_effects with filter_preset_id (string), distance (number, 0–1, default 0), environment_id (string), background_noise_id (string), send_level (number, 0–1, default 1) and pan (number, -1 to 1, default 0).
    • Unknown effect IDs return 404. Stereo effects return 400 for ulaw_*, alaw_* and pcm_* output formats.

Text to Dialogue

Speech to Text

  • Realtime Speech to Text
    • The commit_strategy query parameter adds turn_prediction, alongside manual and vad.
    • partial_transcript messages add optional turn_probability (number), sent only for models that predict turns.

Music

  • POST /v1/music/video-to-music - Responses add a song-id header with the ID of the generated song.

History

Workspace and user

  • Update member - Added optional allow_downgrade_to_basic_seat (boolean, default false).
  • Get user - Added required workspace_id (string).
  • Service account API key permissions add voice_collections_read and voice_collections_write.

ElevenAgents

  • Structured procedures compile on save and publish: Update agent and Create agent draft now compile and validate structured procedures automatically. Integrations no longer need to call the compile endpoint or manually update the generated workflow. Invalid procedures return per-procedure errors as 400 procedure_validation_failed. Agents without structured procedures are unaffected.
  • Compile procedures endpoint is legacy: Compile procedures is marked legacy and should not be used by new integrations. It remains available for existing callers.
  • Merge proposals: Merge proposals are available in alpha. Teams can open a proposal for an agent branch, review configuration changes and test results, leave comments or approval decisions, and merge approved changes into a target branch. See Merge proposals.

SDK releases

JavaScript SDK

  • v2.71.0 - Added clients for agent merge proposals, deployment history, test invocation cancellation and Speech Engine duplication. The release also adds triage ticket priorities and sorting, batch call export limits, gpt-6.1-sol, claude-sonnet-5-5, Eleven v4 agent voice models and current agent configuration types.

Python SDK

  • v2.71.0 - Added clients for agent merge proposals, deployment history, test invocation cancellation and Speech Engine duplication. The release also adds triage ticket priorities and sorting, batch call export limits, gpt-6.1-sol, claude-sonnet-5-5, Eleven v4 agent voice models and current agent configuration types.

Swift SDK

  • v3.4.0 - Dynamic variables now preserve native JSON types when sent in conversation initiation data.

Packages

API

New endpoints

ElevenAgents

  • Create a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals - Create a proposal with required source_branch_id, target_branch_id and title fields, plus an optional description, reviewer IDs and triage ticket ID.
  • List merge proposals - GET /v1/convai/agents/{agent_id}/merge-proposals - List proposals with status, source branch, target branch and text filters, plus cursor pagination.
  • Get a merge proposal - GET /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id} - Retrieve a proposal and its review, comment and outcome details.
  • Update a merge proposal - PATCH /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id} - Update its title, description or requested reviewers, or close it without merging.
  • Review a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/reviews - Submit an approved or changes_requested decision with an optional comment.
  • Comment on a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/comments - Add a Markdown comment of up to 4,096 characters.
  • Merge a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/merge - Merge the source branch and optionally control forced conflict resolution and source branch archival.
  • List agent deployments - GET /v1/convai/agents/{agent_id}/deployments - List current and historical branch traffic splits with page-based pagination.
  • Cancel a test invocation - POST /v1/convai/test-invocations/{test_invocation_id}/cancel - Cancel a running test invocation.

Speech Engine

  • Duplicate a Speech Engine - POST /v1/speech-engine/{speech_engine_id}/duplicate - Duplicate a Speech Engine and optionally assign the copy a new name.

Updated endpoints

ElevenAgents

  • Create agent, Get agent and Update agent
    • Added gpt-6.1-sol and claude-sonnet-5-5 to the LLM enum.
    • Added eleven_v4 and eleven_v4_turbo to the conversational TTS model options. The default changed from eleven_flash_v2 to eleven_v4_turbo.
    • Agent transfers and standalone workflow agent nodes add optional preserve_voice_settings (boolean, default false) to retain the base voice, TTS model and voice settings after a transfer.
    • Skip-turn tool configurations add optional wait_timeout_secs (number, default -1). A value of -1 keeps the agent silent until the caller speaks.
    • Post-call webhook configurations add optional exclude_transcript (boolean, default false) to omit turn-by-turn transcripts from JSON transcription webhooks.
    • Conversation history redaction configurations add optional excluded_data_collection_ids (string array, maximum 50) to preserve selected extracted values while redacting their rationales.
    • Client tool response_timeout_secs now accepts -1 to wait indefinitely when expects_response is enabled.
  • List tickets
    • Added optional priorities (array) with low, medium, high and urgent values.
    • Added sort_by with created_at and priority values; the default is created_at.
    • Ticket responses now require title, nullable priority, and a priority_changes array. Ticket creation and update requests can set priority, and ticket status adds cancelled.
  • List tools - Added optional nullable used_by_agent_id (string) to return tools referenced by an agent’s main branch.
  • Export batch call results - Added optional nullable limit (integer, minimum 1) to export only the first recipients as a column preview.
  • List test invocations and Get test invocation
    • Test invocation summaries add required cancelled_count (integer) and optional cancelled (boolean, default false).
    • Test run status adds cancelled.
  • Get conversation details - Transcript entries add optional nullable platform_event with user_turn_timeout and skip_turn_wait_elapsed values.
  • Get agent version metadata - Added optional nullable merged_authors, an array describing the people who published changes merged into the main branch.
  • Get crawl job - Removed the deprecated max_depth response field.

Eleven v4 et Eleven v4 Turbo

Eleven v4 et Eleven v4 Turbo sont désormais disponibles. Eleven v4 offre une synthèse vocale de meilleure qualité et plus expressive, ainsi qu’un clonage de voix amélioré dans plus de 90 langues. Eleven v4 Turbo propose la même famille de modèles pour les applications en temps réel, avec une latence d’inférence médiane d’environ 100 ms.

Utilisez eleven_v4 via l’API Text to Dialogue pour la création de contenu et les contenus audio longs. Utilisez eleven_v4_turbo via le WebSocket Text to Dialogue pour les agents et les applications interactives.

Speech to Text

  • Modification des transcriptions : la transcription par lot et en temps réel accepte désormais une instruction de modification en langage naturel pouvant contenir jusqu’à 2 000 caractères. Les réponses par lot renvoient le résultat dans edited_transcript, tandis que les sessions en temps réel émettent un événement edited_transcript. Consultez les guides par lot et en temps réel pour connaître les incompatibilités, la gestion des réponses et la tarification.

ElevenAgents

  • Modèles d’agent : ajout de gpt-6-sol, gpt-6-luna, glm-52, deepseek-v41-flash, claude-opus-5 et claude-opus-5-5 aux options de LLM d’agent prises en charge.
  • Utilisation des tests d’agent : les résumés d’invocation de test peuvent inclure le total de crédits et le prix en USD. Les exécutions de test individuelles peuvent inclure les crédits et le détail de la facturation.

Flows

  • API de modèles : ajout de points de terminaison pour lister et récupérer les modèles Flows publiés, démarrer des exécutions de modèles et récupérer les résultats d’exécution. Les exécutions peuvent cibler une version publiée et envoyer leur résultat final à un webhook configuré.

Text to Dialogue

  • Continuité de génération : les requêtes Text to Dialogue peuvent utiliser du texte précédent ou suivant et des identifiants de requête afin de maintenir la continuité entre les générations.
  • Mode voix professionnelle : les requêtes Text to Dialogue peuvent utiliser la version Instant Voice Clone d’un Professional Voice Clone afin de réduire la latence ou d’améliorer l’expressivité.

Versions des SDK

SDK JavaScript

  • v2.70.0 - Ajout des types de modification de transcription Speech to Text par lot et en temps réel, du filtrage branchId et des champs de coût pour les résumés d’invocation de test, de la découverte automatique de la base de connaissances, de usePvcAsIvc pour Text to Dialogue et du modèle d’agent deepseek-v41-flash.

SDK Python

  • v2.70.0 - Ajout des types de modification de transcription Speech to Text par lot et en temps réel, du filtrage branch_id et des champs de coût pour les résumés d’invocation de test, de la découverte automatique de la base de connaissances, de use_pvc_as_ivc pour Text to Dialogue et du modèle d’agent deepseek-v41-flash.

CLI ElevenLabs

  • v1.4.0 - Correction des requêtes utilisant une clé API explicite afin qu’elles n’envoient plus également les identifiants OAuth enregistrés, ce qui provoquait des échecs d’authentification. Ajout de descriptions pour le groupe de commandes de commentaires et d’instructions permettant de signaler les capacités manquantes aux compétences d’agent générées. Régénération du client API avec les points de terminaison de modèles Flows et les types de schéma actuels.

API

Nouveaux points de terminaison

Flows

  • Lister les modèles - GET /v1/flows/templates - Liste les modèles publiés et leurs versions exécutables.
  • Obtenir un modèle - GET /v1/flows/templates/{template_id} - Récupère un modèle et ses versions exécutables.
  • Créer une exécution de modèle - POST /v1/flows/templates/{template_id}/runs - Démarre une exécution de modèle avec des valeurs d’entrée, une version facultative et un webhook facultatif.
  • Lister les exécutions de modèles - GET /v1/flows/templates/{template_id}/runs - Liste les exécutions de modèles avec pagination par curseur et filtrage facultatif par version.
  • Obtenir une exécution de modèle - GET /v1/flows/templates/{template_id}/runs/{run_id} - Récupère une exécution de modèle et l’état de sa sortie.

Points de terminaison mis à jour

Speech to Text

  • Convertir la parole en texte - POST /v1/speech-to-text
    • Ajout de transcript_edit facultatif et nullable (chaîne), qui accepte une instruction de modification en langage naturel pouvant contenir jusqu’à 2 000 caractères.
    • Les réponses ajoutent edited_transcript facultatif et nullable. Une modification réussie contient les champs obligatoires kind: "transcript" et text. Une modification échouée contient les champs obligatoires kind: "error", error_type: "edit_failed" et message.
  • Realtime Speech to Text accepte transcript_edit (chaîne) et émet des événements edited_transcript avec les champs obligatoires text et edited_text.

ElevenAgents

  • Créer un agent, Obtenir un agent et Mettre à jour un agent
    • Ajout de gpt-6-sol, gpt-6-luna, glm-52, deepseek-v41-flash, claude-opus-5 et claude-opus-5-5 à l’énumération LLM.
    • Les moniteurs d’alerte ajoutent enabled facultatif et nullable (booléen) afin de contrôler si un moniteur peut envoyer des notifications.
  • Lister les conversations et Recherche textuelle
    • data_collection_params et dynamic_variable_params ajoutent les opérateurs neq et in. Les valeurs de in utilisent un séparateur de type barre verticale.
    • evaluation_params accepte success, failure ou unknown comme valeur de résultat.
  • Recherche intelligente - GET /v1/convai/conversations/messages/smart-search
    • Ajout de branch_id facultatif et nullable (chaîne).
  • Lister les invocations de test - GET /v1/convai/test-invocations
    • Ajout de branch_id facultatif et nullable (chaîne).
    • Les résumés d’invocation de test ajoutent credits_used facultatif et nullable (entier) et total_price (nombre).
  • Obtenir une invocation de test - GET /v1/convai/test-invocations/{test_invocation_id}
    • Les exécutions de test individuelles ajoutent credits_used facultatif et nullable (entier) et charging (ConversationChargingCommonModel).
  • Simuler une conversation et Diffuser une simulation de conversation
    • Modification de la valeur par défaut facultative de new_turns_limit, de 10,000 à 100, et définition de sa valeur maximale à 100.
  • Créer une tâche d’exploration et Obtenir une tâche d’exploration
    • Ajout de auto_discover facultatif (booléen, valeur par défaut false) pour suivre les liens et ajouter les nouvelles pages découvertes lors de la synchronisation automatique. Nécessite enable_auto_sync: true.
  • Actualiser un document de la base de connaissances - POST /v1/convai/knowledge-base/{documentation_id}/refresh
    • AutoSyncInfo ajoute auto_discover facultatif (booléen, valeur par défaut false) afin d’indiquer si les actualisations explorent et ajoutent les nouvelles pages découvertes.
  • Lister les outils du serveur MCP - GET /v1/convai/mcp-servers/{mcp_server_id}/tools
    • Les réponses ajoutent tool_approval_statuses facultatif (tableau). Chaque élément contient tool_id obligatoire (chaîne) et state (up_to_date, needs_review ou not_approved), avec des champs facultatifs de politique d’approbation et de définition approuvée.

Text to Dialogue

  • Convertir du texte en dialogue, Diffuser du texte en dialogue, Convertir avec horodatages et Diffuser avec horodatages
    • Ajout de use_pvc_as_ivc facultatif (booléen, valeur par défaut false) pour utiliser la version Instant Voice Clone d’un Professional Voice Clone.
    • Ajout de previous_text et future_text facultatifs et nullables (chaînes, maximum 100 caractères), ainsi que de previous_request_ids et next_request_ids (tableaux de chaînes, maximum 3 identifiants) pour assurer la continuité de génération.
    • L’objet settings facultatif ajoute similarity nullable (nombre, 0–1, valeur par défaut 0.75).

Text to Speech

Flows

Voice Design

Workspaces

  • Créer une clé API de compte de service - POST /v1/service-accounts/{service_account_user_id}/api-keys
    • Ajout de tts_concurrency_limit, music_concurrency_limit et dubbing_concurrency_limit facultatifs et nullables (entiers) pour les clés API de compte de service Enterprise.
  • Mettre à jour une clé API de compte de service - PATCH /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}
    • Ajout de tts_concurrency_limit, music_concurrency_limit et dubbing_concurrency_limit facultatifs. Chaque champ accepte un entier, clear, no_update ou null, et utilise no_update par défaut.

Modèles

  • Lister les modèles - GET /v1/models
    • Dépréciation de max_characters_request_free_user et max_characters_request_subscribed_user, auparavant obligatoires. Ces champs ne sont pas appliqués, utilisez plutôt maximum_text_length_per_request.

Image & Vidéo

  • Sora 2 et Sora 2 Pro retirés : OpenAI met fin à l’API Sora le 24 septembre 2026. Les deux modèles ont été retirés du sélecteur de modèles Image & Vidéo et cesseront de générer à cette date. Les générations existantes restent disponibles dans votre historique. Les Flows et modèles qui utilisent un nœud Sora doivent être remplacés par un autre modèle vidéo, tel que Gemini Omni 1.1 Flash, avant de pouvoir être exécutés à nouveau.
  • Seedance 1.5 Pro déprécié : ByteDance retire Seedance 1.5 Pro le 11 novembre 2026. Le modèle n’est plus proposé pour les nouvelles générations et cessera de fonctionner à cette date. Utilisez plutôt un modèle Seedance 2.0.

ElevenAgents

  • Appels d’outils parallèles : la configuration des prompts de l’agent inclut désormais enable_parallel_tool_calls (booléen, valeur par défaut true). Lorsqu’il est activé, les modèles compatibles peuvent exécuter plusieurs outils au cours d’un même tour.
  • Modèles d’agent : ajout de gpt-6-astra aux options LLM des agents.
  • Alertes : les alertes d’agent prennent désormais en charge les canaux Slack en plus des notifications PagerDuty et webhook.
  • Recherche de numéros de téléphone : ajout d’un point de terminaison de numéros de téléphone paginé par curseur, avec des filtres pour le fournisseur, la prise en charge des appels sortants, l’agent et la branche attribués, le libellé et le numéro de téléphone.

Image et vidéo

  • Modèles GPT Image 2.5 : la génération d’images prend désormais en charge gpt-image-2.5-flare et gpt-image-2.5-sunburst. Les deux modèles acceptent jusqu’à 10 images de référence, des niveaux de qualité jusqu’à max, 14 formats d’image fixes ainsi que auto, et une sortie en 1K, 2K ou 4K.

Speech Engine

  • Délai d’expiration en cascade : les requêtes de création et de mise à jour de Speech Engine acceptent désormais cascade_timeout_seconds (nombre, 2–15, valeur par défaut 4) afin de contrôler le temps pendant lequel ElevenLabs attend un moteur de synthèse vocale en amont avant de réessayer.

Text to Speech

  • Limites de tours multi-contexte : le marqueur is_final_audio_for_turn est désormais émis après chaque octet mis en mémoire tampon pour ce tour, y compris pour les sorties MP3 et Opus. Les clients peuvent utiliser ce marqueur comme limite de tour exacte sans passer au PCM.

Versions des SDK

SDK JavaScript

  • v2.69.0 - Ajout de transcriptEdit au wrapper Speech to Text en temps réel, avec du texte modifié transmis via les événements edited_transcript. Correction de la vérification JWT de Speech Engine pour les clés API avec suffixes de résidence des données. Ajout de phoneNumbers.listV2 et de méthodes de modèles Flows pour lister et obtenir des modèles, ainsi que lister, créer et obtenir des exécutions. Clients et types régénérés pour GPT Image 2.5, les alertes d’agent Slack, les appels d’outils parallèles, gpt-6-astra, les limites de requêtes simultanées des clés API de comptes de service, le mode zéro rétention de Music, les filtres de conversation et les statuts d’approbation des outils MCP.

SDK Python

  • v2.69.0 - Ajout de transcript_edit au wrapper Speech to Text en temps réel, avec du texte modifié transmis via les événements edited_transcript. Correction de la vérification JWT de Speech Engine pour les clés API avec suffixes de résidence des données, et modification de play afin de générer une erreur en cas d’échec de ffplay. Ajout de phone_numbers.list_v2 et de méthodes de modèles Flows pour lister et obtenir des modèles, ainsi que lister, créer et obtenir des exécutions. Clients et types régénérés pour GPT Image 2.5, les alertes d’agent Slack, les appels d’outils parallèles, gpt-6-astra, les limites de requêtes simultanées des clés API de comptes de service, le mode zéro rétention de Music, les filtres de conversation et les statuts d’approbation des outils MCP.

CLI ElevenLabs

  • v1.3.2 - Ajout de métadonnées facultatives --intent pour recueillir des retours sur l’utilisation de la CLI. Ajout de elevenlabs feedback missing-capability pour signaler les workflows que la CLI ne prend pas en charge.

API

Nouveaux points de terminaison

ElevenAgents

  • Lister une page de numéros de téléphone - GET /v1/convai/v2/phone-numbers
    • Ajout des paramètres de pagination facultatifs page_size (entier, 1–1 000, valeur par défaut 100) et cursor (chaîne pouvant être nulle).
    • Ajout des filtres facultatifs search, label, phone_number, provider, supports_outbound, agent_id, branch_id, sort_by et sort_direction. sort_by accepte label ou phone_number ; sort_direction utilise asc par défaut.
    • La réponse contient phone_numbers (tableau) obligatoire, next_cursor (chaîne) facultatif et pouvant être nul, ainsi que has_more (booléen, valeur par défaut false).

Points de terminaison mis à jour

ElevenAgents

  • Créer un agent, Obtenir un agent et Mettre à jour un agent
    • La configuration des prompts ajoute enable_parallel_tool_calls (booléen, valeur par défaut true). Les remplacements de workflow acceptent un booléen pouvant être nul.
    • L’énumération LLM ajoute gpt-6-astra, y compris pour les remplacements d’initialisation de conversation.
    • Les notifications d’intégration d’alertes utilisent désormais integration_type pour sélectionner pagerduty ou slack. Les notifications Slack requièrent connection_id et channel_id (chaînes) ; channel_id accepte 1 à 64 caractères.
  • Lister les conversations et Résoudre une référence de conversation
    • data_collection_params n’accepte plus l’opérateur missing. Utilisez une valeur vide pour trouver les conversations dans lesquelles le champ n’a pas été collecté.
    • Une valeur vide dans dynamic_variable_params correspond aux conversations dans lesquelles la variable n’a pas été définie.
  • Créer un Speech Engine, Obtenir un Speech Engine et Mettre à jour un Speech Engine
    • Ajout de cascade_timeout_seconds (nombre, 2–15). Les requêtes de création utilisent 4 par défaut, les requêtes de mise à jour acceptent une valeur pouvant être nulle et les réponses requièrent ce champ.

Image et vidéo

  • Créer une génération d’image - POST /v1/flows/image
    • Ajout de variantes de requête pour gpt-image-2.5-flare et gpt-image-2.5-sunburst.
    • Les deux variantes requièrent prompt et model_id, acceptent jusqu’à 10 images et ajoutent resolution (1K, 2K ou 4K, valeur par défaut 1K).
    • quality accepte low, medium, high, xhigh ou max et utilise high par défaut. aspect_ratio accepte auto et 14 ratios fixes, et utilise 16:9 par défaut.

Doublage

Base de connaissances

  • Créer une tâche d’exploration - POST /v1/convai/knowledge-base/crawl
    • Dépréciation de max_depth (entier, valeur par défaut 3). Ce champ n’a désormais aucun effet et n’est plus soumis à des contraintes minimales ou maximales.
    • Les métadonnées des tâches d’exploration ne requièrent plus max_depth.

Utilisateur

Modifications du schéma

Text to Speech

  • Les messages WebSocket audio et final multi-contexte définissent désormais is_final_audio_for_turn comme intervenant après la livraison de tous les octets mis en mémoire tampon pour le tour.

ElevenAgents

  • Mise en file d’attente des appels et audio d’attente : ajout de la mise en file d’attente des appels pour les agents ayant atteint leur limite de requêtes simultanées. Les appelants en attente entendent un audio d’attente et reçoivent des événements queue_status jusqu’à leur admission ou l’expiration du délai. De nouvelles méthodes API permettent d’importer ou de supprimer un audio d’attente personnalisé.
  • Métadonnées des versions de test : les résultats des tests d’agent identifient désormais la version de l’agent sur laquelle ils ont été exécutés et indiquent s’ils incluaient des modifications de brouillon. Les récapitulatifs d’invocation signalent également lorsque des soumissions partielles ont été exécutées sur différentes versions.
  • Métadonnées de modèle et de compte : la configuration LLM de l’agent accepte désormais gemini-3.8-flash. Les réponses des comptes WhatsApp indiquent si le compte utilise l’API Cloud ou le processus d’inscription en coexistence.

Musique

  • Prise en charge de l’API Music v2.5 : les points de terminaison Music et les SDK acceptent désormais music_v2_5. Les segments de génération de plans de composition prennent en charge jusqu’à 6 132 caractères, avec jusqu’à 30 lignes de 200 caractères chacune.

Versions des SDK

SDK JavaScript

  • v2.68.0 - Ajout de méthodes pour importer et supprimer l’audio d’attente d’un agent. Types régénérés pour la mise en file d’attente des appels, les références de procédures, la création de branches de brouillon, les limites de requêtes RAG, les métadonnées de versions de test, gemini-3.8-flash et music_v2_5.

SDK Python

  • v2.68.0 - Ajout de méthodes synchrones et asynchrones pour importer et supprimer l’audio d’attente d’un agent. Types régénérés pour la mise en file d’attente des appels, les procédures, la création de branches de brouillon, les limites de requêtes RAG, les métadonnées de versions de test, gemini-3.8-flash et music_v2_5. Le wrapper compose_detailed accepte désormais chaque ID de modèle de musique généré ainsi que les plans de composition basés sur des prompts et sur des segments.

SDK iOS

  • v3.3.1 - Rapproche les messages de l’agent par response_id plutôt que par event_id, en préservant plusieurs réponses autour des appels d’outils et en évitant que des parties diffusées en streaming ou des corrections soient associées au mauvais message.

CLI ElevenLabs

  • v1.3.0 - Ajout de métadonnées facultatives --intent aux commandes API générées. Ajout de elevenlabs feedback missing-capability pour signaler les workflows que la CLI ne prend pas en charge.

Packages

  • @elevenlabs/convai-widget-core@0.18.2 et @elevenlabs/convai-widget-embed@0.18.2 - Correction des réponses d’agent en double après les appels d’outils et de procédures. Les réponses textuelles diffusées en streaming conservent leur mise en forme Markdown, et les conversations vocales n’affichent plus les parties de chat diffusées mais non prononcées. Le package embed limite également les événements user_activity à un par seconde et supprime cette limite à la fin d’une session.

API

Nouveaux points de terminaison

ElevenAgents

  • Importer l’audio d’attente d’un agent - POST /v1/convai/agents/{agent_id}/hold-audio
    • Accepte le champ obligatoire hold_audio_file (binaire) sous forme de données de formulaire multipartites. Le fichier doit être au format MP3 ou WAV, ne pas dépasser 40 Mo ni 180 secondes.
    • Renvoie les champs obligatoires agent_id (chaîne) et hold_audio (AgentHoldAudioConfig). L’objet d’audio d’attente requiert audio_path, audio_url, original_filename (chaînes), duration_secs (nombre) et size_bytes (entier).
  • Supprimer l’audio d’attente d’un agent - DELETE /v1/convai/agents/{agent_id}/hold-audio
    • Supprime le clip personnalisé afin que les appelants en attente entendent la tonalité d’attente par défaut.
    • Renvoie le champ obligatoire agent_id (chaîne).

Points de terminaison mis à jour

ElevenAgents

  • Créer un agent, Obtenir un agent et Mettre à jour un agent
    • Ajout de platform_settings.queueing_config (AgentQueueingConfig) facultatif, avec enabled (booléen, valeur par défaut false) et wait_timeout_seconds (entier, 1–1 800, valeur par défaut 180).
    • Les réponses de configuration de file d’attente incluent hold_audio (AgentHoldAudioConfig) en lecture seule et pouvant être nul. Les réponses d’agent incluent également default_hold_audio_url (chaîne) facultatif.
  • Obtenir une conversation - GET /v1/convai/conversations/{conversation_id}
    • Les métadonnées ajoutent queue_wait_secs (nombre) facultatif et pouvant être nul. Le temps d’attente dans la file est exclu de call_duration_secs et du temps facturé.
  • Créer une branche d’agent - POST /v1/convai/agents/{agent_id}/branches
    • Ajout de include_draft (booléen, valeur par défaut false) facultatif. Lorsqu’il est défini sur true, une branche créée à partir de l’extrémité de la branche inclut l’ensemble des procédures de brouillon de l’appelant.
  • Lister les procédures et les points de terminaison de création, d’obtention et de brouillon des procédures
    • Les éléments de liste ajoutent referenced_tool_ids, referenced_kb_ids, referenced_procedure_ids et referenced_dynamic_variables (tableaux de chaînes) facultatifs.
    • Les réponses d’agent et d’aperçu de fusion ajoutent procedures facultatif, une map indexée par ID de procédure.
  • Lister les invocations de test - GET /v1/convai/test-invocations
    • Ajout de search (chaîne) facultatif et pouvant être nul pour filtrer les tests et les dossiers par nom.
  • Exécuter des tests sur un agent et Obtenir une invocation de test
    • Les réponses d’invocation de suite de tests et d’exécution de test unitaire ajoutent version_id (chaîne) facultatif et pouvant être nul, ainsi que ran_against_draft (booléen, valeur par défaut false) facultatif.
    • Les récapitulatifs d’invocation ajoutent également runs_diverged_from_version (booléen, valeur par défaut false) facultatif.
  • POST /v1/convai/agents/{agent_id}/knowledge-base/rag-query
    • Le corps de la requête ajoute les remplacements spécifiques à la requête max_documents_length (entier, 1–50 000) et max_retrieved_rag_chunks_count (entier, 1–20), facultatifs et pouvant être nuls.
  • Obtenir un compte WhatsApp - GET /v1/convai/whatsapp-accounts/{phone_number_id}
    • Ajout de account_type (WhatsAppAccountType, valeur par défaut cloud_api) facultatif. Les valeurs sont cloud_api et coexistence.
  • Calculer l’utilisation LLM attendue - POST /v1/convai/agent/{agent_id}/llm-usage/calculate
    • LLMUsageCalculatorLLMResponseModel ajoute price_per_message (nombre) obligatoire.

Musique

  • MusicModelID ajoute music_v2_5 pour POST /v1/music/video-to-music, POST /v1/music/plan, Composer de la musique, POST /v1/music/detailed, POST /v1/music/detailed/stream, POST /v1/music/stream, POST /v1/music/upload et POST /v1/music/finetunes.
  • GenerationChunk.text augmente maxLength de 6 000 à 6 132 caractères pour POST /v1/music/plan, POST /v1/music, POST /v1/music/detailed, POST /v1/music/detailed/stream, POST /v1/music/stream et POST /v1/music/upload. Les noms de sections peuvent contenir 1 à 100 caractères, et les segments peuvent contenir jusqu’à 30 lignes de 200 caractères chacune.

Modifications du schéma

ElevenAgents

  • Les événements serveur en temps réel ajoutent queue_status. Son champ obligatoire queue_status_event.status accepte waiting, admitted ou timed_out ; timed_out précède le code de fermeture WebSocket 4300. L’audio d’attente continue d’arriver sous forme d’événements audio classiques.
  • L’énumération LLM ajoute gemini-3.8-flash, y compris pour les remplacements d’initialisation de conversation.
  • Les unions de résultats des outils système de conversation ajoutent start_procedure_success, start_procedure_error, end_procedure_success et end_procedure_error.
  • FeaturesUsageCommonModel ajoute les statuts de fonctionnalité facultatifs freeform_procedure et structured_procedure.

Scribe v2 Medical

Scribe v2 Medical est désormais disponible pour tous. Il s’agit d’un modèle de reconnaissance vocale par lots spécialisé dans l’audio médical et clinique, facturé au même tarif que Scribe v2.

Transmettez scribe_v2_medical comme model_id dans Create transcript. L’invite par termes clés, la détection d’entités, la diarisation des locuteurs et le mode non verbatim fonctionnent de la même manière qu’avec Scribe v2.


ElevenAgents

  • Tickets de conversation pour l’ensemble du Workspace : Ajout de List workspace tickets pour récupérer les tickets de triage de conversation de tous les agents accessibles. Filtrez par statut ou par responsable et utilisez la pagination par curseur pour récupérer jusqu’à 100 tickets par page.
  • Filtres de conversation par variables dynamiques : List conversations et Text search conversation messages acceptent désormais des filtres dynamic_variable_params répétables. Utilisez name:op:value avec eq, gt, gte, lt ou lte ; les opérateurs de comparaison exigent des valeurs numériques.
  • Détection de répondeur Twilio : Les configurations de téléphonie sortante et d’appels par lots prennent désormais en charge twilio_machine_detection facultatif. Choisissez enable pour déterminer rapidement s’il s’agit d’une personne ou d’un répondeur, ou detect_message_end pour attendre la fin du message d’accueil de la messagerie vocale. Les résultats sont transmis via le nouvel événement webhook answering_machine_detection.
  • Contraintes de valeurs pour la collecte de données : Les propriétés de collecte de données peuvent désormais utiliser allowed_values pour nommer une variable dynamique contenant les valeurs autorisées. Le champ précédent allowed_values_dynamic_variable est obsolète.
  • Métadonnées d’agent : Les réponses de List agent branches indiquent désormais la date de création d’un brouillon et s’il précède la pointe de la branche. Les résumés d’agent et de Speech Engine exigent désormais voice_id.
  • URL sources de la base de connaissances : Les segments de requête RAG d’agent incluent désormais source_url, obligatoire et nullable, qui contient l’URL suivie des documents URL.
  • Pièces jointes dans les réponses d’agent : Les événements WebSocket agent_response incluent désormais attachments facultatif. Chaque pièce jointe exige url et name et peut inclure mime_type.

Workspaces

  • Limites de plateforme des clés API : Les réponses de clés API de compte de service peuvent désormais inclure des platform_limits Enterprise pour les crédits, les clones vocaux professionnels et les requêtes simultanées TTS, Doublage et Musique.

Versions des SDK

SDK JavaScript

  • v2.67.0 - Ajout de dynamicVariableParams aux requêtes de liste de conversations et de recherche textuelle. Régénération des types pour la détection de répondeur Twilio, les contraintes de valeurs de collecte de données, les limites de plateforme des clés API, les métadonnées de brouillon de branche d’agent et les URL sources de la base de connaissances.

SDK Python

  • v2.67.0 - Ajout de dynamic_variable_params aux méthodes synchrones et asynchrones de liste de conversations et de recherche textuelle. Régénération des types pour la détection de répondeur Twilio, les contraintes de valeurs de collecte de données, les limites de plateforme des clés API, les métadonnées de brouillon de branche d’agent et les URL sources de la base de connaissances. Le client de synthèse vocale en temps réel ne transmet plus la sentinelle d’omission interne à la connexion.

CLI ElevenLabs

  • v1.2.0 - Ajout de la commande elevenlabs say et de sa compétence d’agent, régénération des liaisons de commandes API et définition de eleven_v3 comme modèle TTS par défaut.

Packages

API

Nouveaux points de terminaison

ElevenAgents

  • List workspace tickets - GET /v1/convai/triage-tickets
    • Liste les tickets de triage de conversation de chaque agent auquel l’appelant a accès, classés du plus récemment créé au plus ancien.
    • Ajout des paramètres de requête facultatifs page_size (entier, 1–100, 100 par défaut), status (AgentConversationTicketStatus), assignee_user_id (chaîne ou unassigned) et cursor (chaîne).
    • Renvoie GetAgentConversationTicketsPageResponseModel.

Points de terminaison mis à jour

ElevenAgents

  • List conversations - GET /v1/convai/conversations
    • Ajout de dynamic_variable_params facultatif et nullable (tableau de chaînes répétable). Chaque valeur utilise name:op:value, où op est eq, gt, gte, lt ou lte.
  • Text search conversation messages - GET /v1/convai/conversations/messages/text-search
    • Ajout de dynamic_variable_params facultatif et nullable (tableau de chaînes répétable) avec la même syntaxe.
  • Twilio outbound call, SIP trunk outbound call, Exotel outbound call et Submit batch calling
    • telephony_call_config utilise désormais des schémas d’entrée et de sortie distincts.
    • Ajout de twilio_machine_detection facultatif et nullable (TwilioMachineDetectionConfig). Son mode accepte enable ou detect_message_end et utilise enable par défaut. Ce paramètre est ignoré pour les fournisseurs autres que Twilio et les appels entrants.
  • Import phone number - POST /v1/convai/phone-numbers
    • Ajout de account_auth_token facultatif et nullable (chaîne) pour les importations de clés API Twilio afin de valider les signatures des webhooks entrants.

Modifications du schéma

ElevenAgents

  • WebhookEventType ajoute answering_machine_detection.
  • AgentBranchSummary ajoute draft_created_at facultatif et nullable (entier) ainsi que draft_is_behind_tip facultatif (booléen, false par défaut).
  • AgentKnowledgeBaseRagChunkResponseModel ajoute source_url obligatoire et nullable (chaîne).
  • AgentSummaryResponseModel et SpeechEngineSummaryResponse ajoutent voice_id obligatoire (chaîne).
  • AnalysisProperty ajoute name facultatif et nullable (chaîne) et allowed_values (AllowedValues). LiteralJsonSchemaProperty ajoute également allowed_values. Les deux déprécient allowed_values_dynamic_variable.
  • DataCollectionResultCommonModel ajoute name facultatif et nullable (chaîne).
  • WorkspaceApiKeyResponseModel ajoute platform_limits facultatif et nullable (PlatformLimits).
  • L’outil MCP Icon ajoute theme facultatif et nullable (light ou dark).
  • SMBToolConfig ajoute les variantes de paramètres send_custom_email, create_service_quote_request et create_product_quote_request.
  • Les schémas de paramètres de requête des webhooks et la configuration des appels téléphoniques utilisent désormais des modèles d’entrée et de sortie distincts.
  • Les événements WebSocket agent_response ajoutent attachments facultatif (tableau). Chaque élément exige url et name (chaînes) et accepte mime_type facultatif (chaîne).

ElevenCreative

  • ReferenceVideo.studio_clip utilise désormais StudioClipLocator au lieu de StudioClipReference. Les champs et le format de transmission sont inchangés.

ElevenAgents

  • Saisie au clavier téléphonique : La configuration des conversations d’agent prend désormais en charge dtmf_input_settings facultatif pour la saisie DTMF. Configurez le délai d’attente des chiffres, utilisez # comme terminateur et masquez les saisies au clavier dans les transcriptions, les journaux et les analyses.
  • Historique des pièces jointes de conversation : Les entrées de transcription de Get conversation incluent désormais file_inputs, un tableau contenant l’ID, le nom, le type MIME et l’URL de chaque fichier joint.
  • Filtrage par balises d’agent : List agents accepte désormais un paramètre de requête tags facultatif. Répétez le paramètre pour trouver les agents possédant l’une des balises fournies.
  • Contexte des campagnes par lots : Get conversation identifie désormais les appels par lots grâce à des métadonnées campaign nullables contenant les champs obligatoires campaign_id et campaign_lead_id.

Musique

  • Données visuelles de forme d’onde : Generate music detailed, Stream music with details et Upload music acceptent désormais with_waveform_visual facultatif (booléen, false par défaut). Les réponses ayant activé cette option renvoient un tableau d’entiers waveform_visual basse résolution, avec quatre échantillons par seconde.

Doublage

  • Comportement de pagination des projets : List Dubbing projects et List language targets limitent désormais page_size à 1–100. Le filtrage par statut de projet inclut queued, et les deux points de terminaison indiquent comment utiliser next_cursor pour récupérer la page suivante.

Versions des SDK

SDK JavaScript

  • v2.66.0 - Ajout de fileIds à sendMultimodalMessage, permettant à un message d’inclure plusieurs fichiers joints.

SDK Python

  • v2.66.0 - Ajout de file_ids à send_multimodal_message, permettant à un message d’inclure plusieurs fichiers joints.

SDK Android

  • v0.12.2 - Préservation du callback onUnhandledClientToolCall lors du raccordement des événements de session. Les appels d’outils client non gérés qui attendent une réponse reçoivent désormais la réponse d’erreur automatique au lieu de rester non résolus.

CLI ElevenLabs

  • v1.1.0 - Régénération des liaisons de commandes API et ajout de l’attribution des requêtes à la portée des commandes pour les workflows ElevenAgents. Ces commandes ajoutent cmd/<command> au User-Agent de la CLI, ce qui permet de distinguer les requêtes de workflows tels que agents push et agents create.

Packages

API

Points de terminaison mis à jour

ElevenAgents

  • List agents - GET /v1/convai/agents
    • Ajout de tags facultatif et nullable (tableau de chaînes). Répétez le paramètre de requête pour trouver toute balise fournie.
  • Create agent, Get agent et Update agent
    • Ajout de conversation_config.conversation.dtmf_input_settings facultatif et nullable (DTMFInputConfig). Il prend en charge dtmf_input_timeout (nombre, 0,5–10 secondes, 2 par défaut), hash_terminator (booléen, true par défaut) et redact_input (booléen, false par défaut).
    • Ajout de sip_refer_play_dialtone facultatif (booléen, true par défaut) à la configuration de transfert de numéro de téléphone. Définissez-le sur false pour garder la branche d’appel d’origine silencieuse pendant la finalisation d’un transfert SIP REFER.
    • Les outils système de procédure de début et de fin acceptent désormais un ProcedureVersionRef ou un ProcedureDraftRef. Les références de brouillon exigent procedure_id (chaîne) et définissent version_id sur null.
  • Get conversation - GET /v1/convai/conversations/{conversation_id}
    • Ajout de file_inputs (tableau de ConversationHistoryTranscriptFileInputResponseModel) aux entrées de transcription. Chaque élément exige file_id, original_filename, mime_type et file_url (chaînes).
    • Ajout de campaign facultatif et nullable (BatchCallingCampaignInformation) aux métadonnées d’appels par lots. L’objet exige campaign_id et campaign_lead_id (chaînes).
    • Ajout de dtmf à ChatSourceMedium.
  • Les types de problèmes des tickets de triage de conversation ajoutent incorrect_information, documentation_gap, platform_bug et wrong_action.

Musique

  • Generate music detailed (POST /v1/music/detailed) et Stream music with details (POST /v1/music/detailed/stream)
    • Ajout de with_waveform_visual facultatif (booléen, false par défaut).
    • Les réponses détaillées ajoutent waveform_visual nullable (tableau d’entiers), échantillonné quatre fois par seconde de -1000 à 1000.
  • Upload music - POST /v1/music/upload
    • Ajout de with_waveform_visual facultatif (booléen, false par défaut) et de waveform_visual nullable (tableau d’entiers) dans la réponse.

ElevenCreative

Doublage

  • List Dubbing projects - GET /v1/dubbing/project
    • page_size reste un entier facultatif avec une valeur par défaut de 20, mais les valeurs sont désormais limitées à 1–100 au lieu d’être rejetées.
    • Le filtre status documente désormais queued, preparing, ready et failed.
    • Transmettez le next_cursor de la réponse précédente dans cursor ; omettez-le pour la première page.
  • List language targets - GET /v1/dubbing/project/{project_id}/language
    • page_size reste un entier facultatif avec une valeur par défaut de 20, mais les valeurs sont désormais limitées à 1–100 au lieu d’être rejetées.
    • Le filtre status prend en charge queued, processing, completed, stale et failed.
    • Transmettez le next_cursor de la réponse précédente dans cursor ; omettez-le pour la première page.

Modifications du schéma

Workspace

  • PendingSubscriptionSwitchResponseModel.next_tier ajoute grant.