Vai alla navigazione

Eleven Realtime

Eleven Realtime is a new family of models for ElevenAgents voice agents, rolling out gradually across workspaces. Each one is a complete voice agent configuration. You pick one model, and ElevenLabs handles the LLM, Speech to Text and Text to Speech settings behind it. Your agent’s system prompt, voice, tools and knowledge base work the same as before.

There are two to choose from. Eleven Realtime v1 Mini (eleven_realtime_v1_mini) is the default, and it’s the fastest and cheapest. Eleven Realtime v1 Max (eleven_realtime_v1_max) reasons before it answers, so use it when your agent has complex instructions or multi-step tool calls.

If you’ve already built on OpenAI’s Realtime API, you don’t need to rewrite your client. The events and the WebSocket transport are the same, so you change the endpoint and the session configuration. Your backend calls Create realtime client secret to get a short-lived secret, and the browser uses it to connect directly.

Realtime Translation

Realtime Translation turns speech in one language into speech in another while the speaker is still talking. It’s a WebSocket API, available now for enterprise workspaces.

You open a connection with a target_language and a voice_id, then stream audio in. You get translated speech back in that voice. You don’t have to say which language the speaker is using, because it’s detected automatically, but you can set source_language if you know it. Along the way, the server also sends live transcripts of the original speech and the translated text, for example to show captions.

eagerness controls the tradeoff between speed and quality. high starts translating soonest, and low waits for more of the sentence. The translated voice uses Eleven v4 Turbo by default, and you can switch to eleven_v3 or eleven_flash_v2_5 with tts_model_id. For sensitive conversations, set enable_zrm=true to use Zero Retention Mode.

Video to Music

Video to Music writes a soundtrack for your video. The Video to music API is now available: you upload a video and get back music that fits it, without writing a music prompt from scratch. Use it to score product videos, ads and social clips.

You can send up to 10 video files (200 MB combined). They’re joined in order and scored as one video. To steer the result, add a text description and up to 10 style tags.

Three options are worth knowing. use_audio_as_reference takes the genre, BPM, instruments and mood from the video’s own audio. add_sfx adds sound effects that match the video. separate_tracks returns the music and the sound effects as separate files in a ZIP, so you can mix them yourself.

ElevenAgents

  • Alerts: Alerts notify a workspace when agent error rates exceed a threshold or rise sharply above their recent baseline. Monitors cover conversation failures, tool failures, webhook errors, guardrail triggers, call initiation errors and evaluation success scores, and run with default thresholds without any setup. Agent-level thresholds and notifiers can be set through platform_settings.alerting on Update agent. Notifications can be delivered as webhooks, to Slack or to PagerDuty.
  • Guardrails generally available: Guardrails are no longer in alpha.
  • Workspace environments: Environments for environment variables can now be managed through the API with List environments, Create environment and Delete environment. A variable without a value for an environment falls back to its production value. Deleting an environment removes its values from all variables, and production cannot be deleted.
  • Answering machine detection actions: Twilio answering machine detection settings on Outbound call and Submit batch call accept actions, a list of rules that pair an action (hang_up) with the answered_by verdicts that trigger it, such as machine_start or fax. Verdicts without a rule leave the call running.
  • New LLMs: Agents can use gemini-4-argon, claude-opus-4-6 and the ElevenLabs-hosted nemotron-35-super-vl-nvfp4. See Models.
  • Authored-only workflow reads: Get agent and Update agent accept include_procedure_generated_workflow_elements. Set it to false to receive only the workflow nodes and edges you authored, excluding the ones compiled from structured procedures. Defaults to true, so existing callers are unchanged.
  • Branch rebasing from any branch: Rebase branch and Preview rebase accept an optional source_branch_id to pull changes from a branch other than main.
  • Delete agents used as subagents: Delete agent accepts force. When true, the agent is deleted even if other agents use it as a subagent, and it is removed from those agents and their branches.
  • Sort agents by last update: List agents accepts sort_by=updated_at, and each agent summary includes updated_at_unix_secs, the last time the main branch or agent-level settings changed.
  • Google Calendar event updates: The Google Calendar integration adds google_calendar_update_event and google_calendar_delete_event tools. Both are privileged tools that can change or cancel any event on the connected calendar.

Music and Sound Effects

  • Zero Retention Mode: Music generation, composition plan, stem separation and video to music endpoints, plus Sound Effects, accept enable_logging=false to use Zero Retention Mode. Zero Retention Mode is available to enterprise customers. Music requests that set store_for_inpainting=true are rejected in this mode.
  • WAV output for sound effects: Sound Effects accepts wav_8000, wav_16000, wav_22050, wav_24000, wav_32000, wav_44100 and wav_48000 output formats.

Speech Engine

  • 40-minute conversations: Speech Engine supports conversations of up to 40 minutes. The default limit remains 10 minutes. Raise conversation.max_duration_seconds to allow longer conversations.
  • Sort by last update: List Speech Engines accepts sort_by=updated_at, and each summary includes updated_at_unix_secs.

Dubbing

  • Subtitles for dubbed languages: Dubbing project language outputs (GET /v1/dubbing/project/{project_id}/language/{language_id}) include subtitles, a signed URL to the translated lines as WebVTT subtitles timed to the source speech. The URL expires one hour after it is issued.

Voices

  • Resubmittable voice reviews: Voice sharing review_status adds declined_resubmittable for declined voices that can be resubmitted for review.

Workspaces

  • Disable service account API keys: Disable service account API key disables a service account API key without changing its other settings. It remains available after a workspace downgrades from a plan that includes service accounts.
  • Group concurrency limits: List workspace groups and List service accounts return group_concurrency_limit, group_dubbing_concurrency_limit and group_music_concurrency_limit for each group, and group permissions add all_resources_access.

SDK releases

JavaScript SDK

  • v2.74.0 - Added client.conversationalAi.realtime.createClientSecret for the Realtime API, with the RealtimeModel and OpenAI-compatible session configuration types, and an environments client with list, create and delete. Also adds force on agent deletion, sourceBranchId on branch rebase and rebase preview, includeProcedureGeneratedWorkflowElements on agent reads, enableLogging on Music and Sound Effects methods, WAV output formats for Sound Effects, service account API key disable, and Twilio answering machine detection actions.
  • v2.73.0 - Added createAndWait helpers for Flows image, video and Text to Speech generations and template runs (client.flows.templates.runs.createAndWait). They create the request and poll until it completes or fails, pacing requests with the server’s Retry-After header. A failed result is returned rather than thrown, and waitTimeoutInSeconds throws FlowsWaitTimeoutError if the work is not finished in time. The regenerated client adds the Video to music add_sfx, separate_tracks and use_audio_as_reference options.

Python SDK

  • v2.74.1 - music.compose_detailed now accepts and forwards enable_logging, which the custom wrapper previously dropped, so Zero Retention Mode works with this method.
  • v2.74.0 - Added client.conversational_ai.realtime.create_client_secret for the Realtime API and an environments client, with the same regenerated API changes as JavaScript SDK v2.74.0.
  • v2.73.0 - Added create_and_wait helpers for Flows image, video and Text to Speech generations and template runs, for both sync and async clients, with wait_timeout_in_seconds and min_poll_interval_in_seconds options and a FlowsWaitTimeoutError exported from elevenlabs.flows_custom. Type checkers such as pyright now resolve client.webhooks.construct_event, client.speech_to_text.realtime, client.text_to_speech.convert_realtime and the custom Music methods. Includes the same regenerated API changes as the JavaScript SDK.
  • v2.73.1 - Fixed the test suite on Python 3.13 and later, and added Python 3.13 and 3.14 to CI.

ElevenLabs CLI

  • v1.7.0 - Regenerated API commands, adding environments, realtime client secrets and service account API key disabling.
  • v1.6.0 - Added create-and-wait commands for flows image, flows video, flows text-to-speech and flows templates runs. Each command returns a finished result, with --wait-timeout and --min-poll-interval options.
  • v1.5.1, v1.5.2, v1.5.3 and v1.6.1 - Bug fixes for onboarding, including Windows support.

Packages

API

New endpoints

ElevenAgents

  • Create realtime client secret - POST /v1/convai/realtime/client_secrets - Create an ephemeral client secret for browser-based Realtime API sessions. Accepts an optional session (OpenAI-compatible session configuration with model of eleven_realtime_v1_mini (default) or eleven_realtime_v1_max, instructions, audio, tools, turn_detection and max_duration_seconds from 60 to 7,200, default 600) and optional expires_after with required seconds (integer). Returns value (string), expires_at (integer) and the echoed session.

  • List environments - GET /v1/convai/environments - List the workspace environments, including production. Each environment has name, nullable updated_at_unix_secs and nullable created_by_user_id.

  • Create environment - POST /v1/convai/environments - Create an environment with a required, unique name (string). Returns 409 if the name is taken.

  • Delete environment - DELETE /v1/convai/environments/{environment} - Delete an environment and remove its values from all environment variables. Returns 204.

Workspaces

  • Disable service account API key - POST /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}/disable - Disable a service account API key without changing its other settings.

Updated endpoints

ElevenAgents

  • Get agent, Update agent, Preview rebase and Preview merge
    • Added optional include_procedure_generated_workflow_elements (boolean, default true). When false, the returned workflow contains only authored nodes and edges, without those generated from structured procedures.
  • Create agent, Get agent and Update agent
    • The llm enum adds gemini-4-argon, claude-opus-4-6 and nemotron-35-super-vl-nvfp4.
    • TTS configuration effects removes the deprecated seed field.
  • Delete agent - Added optional force (boolean, default false).
  • List agents - sort_by adds updated_at. Agent summaries add required updated_at_unix_secs (integer).
  • Rebase branch and Preview rebase - Added optional source_branch_id (string). Defaults to the agent’s main branch.
  • Outbound call, Submit batch call and Get batch call
    • Twilio machine detection configuration adds actions, an array of rules with required action (hang_up) and required answered_by (array of human, fax, unknown, machine_start, machine_end_beep, machine_end_silence or machine_end_other). Each action can appear in at most one rule.
  • Get conversation details
    • Transcript tool calls add nullable tool_id (string). It is not set for tools without an ID, such as system tools.
    • Turn metrics add nullable voice_id (string).
    • Tool results add nullable to_agent and to_node (string).
    • WhatsApp conversation info adds nullable recipient with nullable phone and bsuid (string), and nullable call_permission_request with required state (blocked, sent, accepted or declined) and nullable requested_at_unix (integer).
    • The platform charge category enum adds v3_addon, v4_addon and rag_addon.
  • Get ticket, List tickets and List workspace tickets
    • Ticket responses add required status_changes, an array of objects with status, nullable changed_by_user_id (string) and changed_at_unix_secs (integer).

Text to Speech and Text to Dialogue

Music

Sound Effects

  • Create sound effect
    • Added optional enable_logging query parameter (boolean, default true).
    • output_format adds wav_8000, wav_16000, wav_22050, wav_24000, wav_32000, wav_44100 and wav_48000.

Speech Engine

  • List Speech Engines - sort_by adds updated_at. Summaries add required updated_at_unix_secs (integer).

Speech to Text

  • Create transcript and Get transcript - Edited transcripts add required, read-only edited_text (string), matching text and the edited_text field of the realtime edited_transcript event.

Dubbing

  • GET /v1/dubbing/project/{project_id}/language and GET /v1/dubbing/project/{project_id}/language/{language_id} - Language outputs add nullable subtitles (string, signed URL).

Voices

Workspaces

  • List workspace groups and List service accounts
    • Groups add nullable group_concurrency_limit, group_dubbing_concurrency_limit and group_music_concurrency_limit (integer or unlimited).
    • Group permissions add all_resources_access.

ElevenAgents

  • Merge and search triage tickets: Merge tickets folds up to 50 open tickets from the same agent into one target ticket. Merged tickets keep the status merged and reference the target through merged_into_ticket_id. List tickets and List workspace tickets add a case-insensitive search parameter that matches ticket titles, descriptions, comments and turn comments, and each result includes a search_match excerpt showing where the query matched.
  • Workflow End node outcomes: Workflow End nodes accept an outcome of success (default) or failure, so a workflow can record whether a conversation ended successfully. The conversation error type adds workflow_end_failure.
  • Call queueing enabled for new agents: New agents are created with call queueing enabled unless platform_settings.queueing_config.enabled is set explicitly. Existing agents keep their current setting.
  • Post-call audio webhook retries: When Enable retries is on, post_call_audio webhooks are retried on the same schedule as transcription webhooks. Audio payloads over 50 MiB are not retried, and queued audio retries are capped at 400 MiB per webhook.
  • Strict tool overrides: The conversation override tool_ids_strict makes an overridden tool_ids list the complete set of tools available in the conversation, including tools on workflow nodes. It is ignored when set on the agent itself.
  • Widget end confirmation: The widget can ask users to confirm before ending a chat or call. Enable it with end_confirmation_enabled in the widget configuration or the end-confirmation attribute.

Text to Speech

  • Audio effects: Text to Speech and Text to Dialogue requests accept an optional audio_effects object. It applies a filter preset, perceived distance, a reverb environment, a looped background noise bed and stereo panning to the generated audio. List valid preset, environment and background noise IDs with GET /v1/audio-effects/catalog. Reverb and non-zero panning produce stereo audio and are rejected for ulaw_*, alaw_* and pcm_* output formats. Effects do not change the cost of a request.

Speech to Text

  • Turn prediction commit strategy: The realtime Speech to Text WebSocket adds turn_prediction as a commit_strategy value. In addition to silence-based segmentation, it commits a segment as soon as the model predicts the speaker has finished their turn. It is the default for models that predict turns, and partial transcripts from those models include turn_probability. See transcripts and commit strategies.

Voices

  • Voice collections API: Voice collections can now be managed through the API. Create, list, update and delete collections, and add or remove voices. See List voice collections.

Workspaces

  • Basic seat fallback: Update member accepts allow_downgrade_to_basic_seat. When unlocking a user whose original seat type has no seats available, the user is moved to a basic seat instead of the request failing.
  • Workspace ID on user: Get user returns the workspace_id of the workspace the API key belongs to.

SDK releases

JavaScript SDK

  • v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds the turn_prediction commit strategy.

Python SDK

  • v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds the turn_prediction commit strategy. play() and save() now accept any iterable of audio chunks, such as a list or tuple. RealtimeEvents.CLOSE handlers receive a dictionary with the WebSocket close code and reason; handlers without parameters continue to work.

ElevenLabs CLI

  • v1.5.0 - Regenerated API commands, adding voice collections, the audio effects catalog, triage ticket merging and agent merge proposals.

Packages

  • @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0 - Added a previousText option to Scribe.connect() and useScribe() in microphone mode. The text is sent with the first audio chunk to give the model context, such as existing document text, for casing, punctuation and sentence continuation. MediaDeviceOutput now receives libsampleratePath, so output resampling uses the same custom libsamplerate bundle path as MediaDeviceInput.
  • @elevenlabs/react-native@1.2.29 - Updated to @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0.
  • @elevenlabs/convai-widget-core@0.19.0 and @elevenlabs/convai-widget-embed@0.19.0 - Added an optional confirmation dialog before ending a chat or call, enabled with the end-confirmation attribute or end_confirmation_enabled config, with customizable text. Added carousel rich content with scrollable item cards that can include an image, subtitle, description and actions. Carousels remain in the transcript after a reply, without their actions. Rich content is now shown during voice calls when the transcript is visible.

API

New endpoints

ElevenAgents

  • Merge tickets - POST /v1/convai/triage-tickets/{agentqa_ticket_id}/merge - Merge open tickets into the target ticket. Requires source_ticket_ids (string array, 1–50 items) and returns the target ticket.

Voices

  • List voice collections - GET /v1/voices/collections - List the voice collections the caller can access, sorted by title.
  • Create voice collection - POST /v1/voices/collections - Create a collection with required title and icon (string, maximum 1,000 characters each).
  • Get voice collection - GET /v1/voices/collections/{collection_id} - Retrieve a collection with its title, icon and the caller’s permission_on_resource (admin, editor, commenter or viewer).
  • Update voice collection - PATCH /v1/voices/collections/{collection_id} - Update the optional title or icon.
  • Delete voice collection - DELETE /v1/voices/collections/{collection_id}
  • Add voice to collection - POST /v1/voices/collections/{collection_id}/voice/{voice_id}
  • Remove voice from collection - DELETE /v1/voices/collections/{collection_id}/voice/{voice_id}

Audio effects

  • GET /v1/audio-effects/catalog - List the available filter_presets, environments and background_noises. Each entry has an ID, a name and a nullable description.

Updated endpoints

ElevenAgents

  • Create agent, Get agent and Update agent
    • Workflow End nodes add outcome (success or failure, default success). The field is required in responses.
    • Standalone workflow agent nodes and agent transfer configurations add nullable branch_id (string) to target a specific branch of the destination agent. When unset, the transfer follows the target agent’s traffic deployment. Transfer tool results add a configured branch reason.
    • Prompt override configurations add tool_ids_strict (boolean, default false).
    • TTS configuration effects add pan (number, -1 to 1, default 0). The seed field is deprecated and has no effect.
  • Get widget config - Added end_confirmation_enabled (boolean, default false).
  • List tickets
    • Added optional search (string, maximum 200 characters) and merged_into_ticket_id (string) query parameters.
    • Ticket responses add nullable merged_into_ticket_id and nullable search_match with field (title, description, comment or turn_comment), snippet, highlight_start, highlight_end and nullable turn_index.
  • List workspace tickets - Added optional agent_id, sources, priorities, sort_by (created_at or priority, default created_at), owner_user_id, issue_type, label, merged_into_ticket_id and search query parameters.
  • List tests - Added optional created_by_user_id (string). Use @me for the authenticated user.
  • List test invocations - Added optional test_id (string), version_id (string), start_time and end_time (integer, Unix seconds, inclusive) query parameters.
  • Update agent branch - Added optional auto_rebase (boolean). Branch responses add auto_rebase (boolean, default false).
  • Get conversation details
    • Twilio, SIP trunk and Exotel phone call metadata add nullable call_result with answered, voicemail, busy, no_answer and failed values.
    • Batch call metadata adds nullable cold_attempt (integer) and nullable conversation_type (initial, retry, callback or redirect).
    • The conversation error type adds workflow_end_failure.
  • Knowledge base auto-sync auto_discover is deprecated and no longer has any effect.

Text to Speech

  • Create speech, Stream speech, Create speech with timing and Stream speech with timing
    • Added optional nullable audio_effects with filter_preset_id (string), distance (number, 0–1, default 0), environment_id (string), background_noise_id (string), send_level (number, 0–1, default 1) and pan (number, -1 to 1, default 0).
    • Unknown effect IDs return 404. Stereo effects return 400 for ulaw_*, alaw_* and pcm_* output formats.

Text to Dialogue

Speech to Text

  • Realtime Speech to Text
    • The commit_strategy query parameter adds turn_prediction, alongside manual and vad.
    • partial_transcript messages add optional turn_probability (number), sent only for models that predict turns.

Music

  • POST /v1/music/video-to-music - Responses add a song-id header with the ID of the generated song.

History

Workspace and user

  • Update member - Added optional allow_downgrade_to_basic_seat (boolean, default false).
  • Get user - Added required workspace_id (string).
  • Service account API key permissions add voice_collections_read and voice_collections_write.

ElevenAgents

  • Le procedure strutturate vengono compilate al salvataggio e alla pubblicazione: Aggiorna agente e Crea bozza di agente ora compilano e convalidano automaticamente le procedure strutturate. Le integrazioni non devono più chiamare l’endpoint di compilazione né aggiornare manualmente il workflow generato. Le procedure non valide restituiscono errori per singola procedura come 400 procedure_validation_failed. Gli agenti senza procedure strutturate non sono interessati.
  • L’endpoint di compilazione delle procedure è legacy: Compila procedure è contrassegnato come legacy e non deve essere usato dalle nuove integrazioni. Rimane disponibile per i chiamanti esistenti.
  • Proposte di merge: le proposte di merge sono disponibili in alpha. I team possono aprire una proposta per un branch di agente, esaminare le modifiche alla configurazione e i risultati dei test, lasciare commenti o decisioni di approvazione e unire le modifiche approvate in un branch di destinazione. Consulta Proposte di merge.

Rilasci SDK

SDK JavaScript

  • v2.71.0 - Aggiunti client per le proposte di merge degli agenti, la cronologia dei deployment, l’annullamento delle invocazioni di test e la duplicazione di Speech Engine. La release aggiunge inoltre priorità e ordinamento dei ticket di triage, limiti di esportazione delle chiamate batch, gpt-6.1-sol, claude-sonnet-5-5, modelli vocali per agenti Eleven v4 e tipi di configurazione correnti degli agenti.

SDK Python

  • v2.71.0 - Aggiunti client per le proposte di merge degli agenti, la cronologia dei deployment, l’annullamento delle invocazioni di test e la duplicazione di Speech Engine. La release aggiunge inoltre priorità e ordinamento dei ticket di triage, limiti di esportazione delle chiamate batch, gpt-6.1-sol, claude-sonnet-5-5, modelli vocali per agenti Eleven v4 e tipi di configurazione correnti degli agenti.

SDK Swift

  • v3.4.0 - Le variabili dinamiche ora preservano i tipi JSON nativi quando vengono inviate nei dati di avvio della conversazione.

Pacchetti

API

Nuovi endpoint

ElevenAgents

  • Crea una proposta di merge - POST /v1/convai/agents/{agent_id}/merge-proposals - Crea una proposta con i campi obbligatori source_branch_id, target_branch_id e title, oltre a una descrizione facoltativa, ID revisori e ID ticket di triage.
  • Elenca proposte di merge - GET /v1/convai/agents/{agent_id}/merge-proposals - Elenca le proposte con filtri per stato, branch di origine, branch di destinazione e testo, oltre alla paginazione tramite cursore.
  • Ottieni una proposta di merge - GET /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id} - Recupera una proposta e i dettagli relativi a revisione, commenti ed esito.
  • Aggiorna una proposta di merge - PATCH /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id} - Aggiorna titolo, descrizione o revisori richiesti, oppure chiudila senza eseguire il merge.
  • Esamina una proposta di merge - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/reviews - Invia una decisione approved o changes_requested con un commento facoltativo.
  • Commenta una proposta di merge - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/comments - Aggiungi un commento Markdown fino a 4.096 caratteri.
  • Unisci una proposta di merge - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/merge - Unisci il branch di origine e controlla facoltativamente la risoluzione forzata dei conflitti e l’archiviazione del branch di origine.
  • Elenca deployment degli agenti - GET /v1/convai/agents/{agent_id}/deployments - Elenca le suddivisioni del traffico correnti e cronologiche dei branch con paginazione basata sulle pagine.
  • Annulla un’invocazione di test - POST /v1/convai/test-invocations/{test_invocation_id}/cancel - Annulla un’invocazione di test in esecuzione.

Speech Engine

  • Duplica uno Speech Engine - POST /v1/speech-engine/{speech_engine_id}/duplicate - Duplica uno Speech Engine e assegna facoltativamente alla copia un nuovo name.

Endpoint aggiornati

ElevenAgents

  • Crea agente, Ottieni agente e Aggiorna agente
    • Aggiunti gpt-6.1-sol e claude-sonnet-5-5 all’enum LLM.
    • Aggiunti eleven_v4 e eleven_v4_turbo alle opzioni del modello TTS conversazionale. Il valore predefinito è passato da eleven_flash_v2 a eleven_v4_turbo.
    • I trasferimenti degli agenti e i nodi degli agenti workflow autonomi aggiungono preserve_voice_settings facoltativo (booleano, valore predefinito false) per mantenere la voce di base, il modello TTS e le impostazioni vocali dopo un trasferimento.
    • Le configurazioni dello strumento per saltare il turno aggiungono wait_timeout_secs facoltativo (numero, valore predefinito -1). Il valore -1 mantiene l’agente in silenzio finché il chiamante non parla.
    • Le configurazioni webhook post-chiamata aggiungono exclude_transcript facoltativo (booleano, valore predefinito false) per omettere le trascrizioni turno per turno dai webhook di trascrizione JSON.
    • Le configurazioni di redazione della cronologia delle conversazioni aggiungono excluded_data_collection_ids facoltativo (array di stringhe, massimo 50) per mantenere i valori estratti selezionati mentre vengono oscurate le relative motivazioni.
    • response_timeout_secs dello strumento client ora accetta -1 per attendere indefinitamente quando expects_response è abilitato.
  • Elenca ticket
    • Aggiunto priorities facoltativo (array) con valori low, medium, high e urgent.
    • Aggiunto sort_by con valori created_at e priority; il valore predefinito è created_at.
    • Le risposte dei ticket ora richiedono title, priority nullable e un array priority_changes. Le richieste di creazione e aggiornamento dei ticket possono impostare priority e lo stato del ticket aggiunge cancelled.
  • Elenca strumenti - Aggiunto used_by_agent_id facoltativo e nullable (stringa) per restituire gli strumenti a cui fa riferimento il branch principale di un agente.
  • Esporta risultati delle chiamate batch - Aggiunto limit facoltativo e nullable (intero, minimo 1) per esportare solo i primi destinatari come anteprima di colonna.
  • Elenca invocazioni di test e Ottieni invocazione di test
    • I riepiloghi delle invocazioni di test aggiungono cancelled_count obbligatorio (intero) e cancelled facoltativo (booleano, valore predefinito false).
    • Lo stato dell’esecuzione di test aggiunge cancelled.
  • Ottieni dettagli della conversazione - Le voci della trascrizione aggiungono platform_event facoltativo e nullable con valori user_turn_timeout e skip_turn_wait_elapsed.
  • Ottieni metadati della versione dell’agente - Aggiunto merged_authors facoltativo e nullable, un array che descrive le persone che hanno pubblicato modifiche unite nel branch principale.
  • Ottieni job di crawling - Rimosso il campo di risposta deprecato max_depth.

Eleven v4 e Eleven v4 Turbo

Eleven v4 e Eleven v4 Turbo sono ora disponibili. Eleven v4 offre un parlato di qualità superiore e più espressivo, oltre a una clonazione vocale migliorata in oltre 90 lingue. Eleven v4 Turbo offre la stessa famiglia di modelli per applicazioni in tempo reale, con una latenza di inferenza mediana di circa 100 ms.

Usa eleven_v4 tramite l’API Text to Dialogue per la creazione di contenuti e audio di lunga durata. Usa eleven_v4_turbo tramite il WebSocket Text to Dialogue per agenti e applicazioni interattive.

Speech to Text

  • Modifica della trascrizione: la trascrizione batch e in tempo reale ora accettano un’istruzione di modifica in linguaggio naturale fino a 2.000 caratteri. Le risposte batch restituiscono il risultato in edited_transcript, mentre le sessioni in tempo reale emettono un evento edited_transcript. Consulta le guide batch e in tempo reale per incompatibilità, gestione delle risposte e prezzi.

ElevenAgents

  • Modelli degli agenti: aggiunti gpt-6-sol, gpt-6-luna, glm-52, deepseek-v41-flash, claude-opus-5 e claude-opus-5-5 alle opzioni LLM supportate per gli agenti.
  • Utilizzo dei test degli agenti: i riepiloghi delle invocazioni di test possono includere i crediti totali e il prezzo in USD. Le singole esecuzioni di test possono includere i crediti e un dettaglio degli addebiti.

Flows

  • API dei template: aggiunti endpoint per elencare e recuperare i template Flows pubblicati, avviare esecuzioni di template e recuperare i risultati delle esecuzioni. Le esecuzioni possono usare una versione pubblicata e inviare il risultato finale a un webhook configurato.

Text to Dialogue

  • Continuità della generazione: le richieste Text to Dialogue possono usare testo precedente o successivo e ID richiesta per mantenere la continuità tra generazioni.
  • Modalità voce professionale: le richieste Text to Dialogue possono usare la versione Instant Voice Clone di una Professional Voice Clone per ridurre la latenza o migliorare l’espressività.

Rilasci SDK

SDK JavaScript

  • v2.70.0 - Aggiunti tipi per la modifica delle trascrizioni Speech to Text batch e in tempo reale, il filtro branchId e campi di costo per i riepiloghi delle invocazioni di test, l’individuazione automatica della knowledge base, usePvcAsIvc per Text to Dialogue e il modello di agente deepseek-v41-flash.

SDK Python

  • v2.70.0 - Aggiunti tipi per la modifica delle trascrizioni Speech to Text batch e in tempo reale, il filtro branch_id e campi di costo per i riepiloghi delle invocazioni di test, l’individuazione automatica della knowledge base, use_pvc_as_ivc per Text to Dialogue e il modello di agente deepseek-v41-flash.

CLI ElevenLabs

  • v1.4.0 - Corrette le richieste con una chiave API esplicita, che ora non inviano più anche le credenziali OAuth archiviate, causando errori di autenticazione. Aggiunte descrizioni per il gruppo di comandi di feedback e istruzioni per segnalare funzionalità mancanti alle competenze degli agenti generate. Rigenerato il client API con gli endpoint dei template Flows e i tipi di schema correnti.

API

Nuovi endpoint

Flows

  • Elenca template - GET /v1/flows/templates - Elenca i template pubblicati e le relative versioni eseguibili.
  • Ottieni template - GET /v1/flows/templates/{template_id} - Recupera un template e le relative versioni eseguibili.
  • Crea esecuzione di un template - POST /v1/flows/templates/{template_id}/runs - Avvia l’esecuzione di un template con valori di input, una versione facoltativa e un webhook facoltativo.
  • Elenca esecuzioni di template - GET /v1/flows/templates/{template_id}/runs - Elenca le esecuzioni di template con paginazione tramite cursore e filtro di versione facoltativo.
  • Ottieni esecuzione di un template - GET /v1/flows/templates/{template_id}/runs/{run_id} - Recupera l’esecuzione di un template e lo stato del relativo output.

Endpoint aggiornati

Speech to Text

  • Converti parlato in testo - POST /v1/speech-to-text
    • Aggiunto transcript_edit facoltativo e nullable (stringa), che accetta un’istruzione di modifica in linguaggio naturale fino a 2.000 caratteri.
    • Le risposte aggiungono edited_transcript facoltativo e nullable. Una modifica riuscita contiene i campi obbligatori kind: "transcript" e text. Una modifica non riuscita contiene i campi obbligatori kind: "error", error_type: "edit_failed" e message.
  • Speech to Text in tempo reale accetta transcript_edit (stringa) ed emette eventi edited_transcript con i campi obbligatori text e edited_text.

ElevenAgents

  • Crea agente, Ottieni agente e Aggiorna agente
    • Aggiunti gpt-6-sol, gpt-6-luna, glm-52, deepseek-v41-flash, claude-opus-5 e claude-opus-5-5 all’enum LLM.
    • I monitor di avviso aggiungono enabled facoltativo e nullable (booleano) per controllare se un monitor può inviare notifiche.
  • Elenca conversazioni e Ricerca testuale
    • data_collection_params e dynamic_variable_params aggiungono gli operatori neq e in. I valori di in usano un delimitatore pipe.
    • evaluation_params accetta success, failure o unknown come valore del risultato.
  • Ricerca intelligente - GET /v1/convai/conversations/messages/smart-search
    • Aggiunto branch_id facoltativo e nullable (stringa).
  • Elenca invocazioni di test - GET /v1/convai/test-invocations
    • Aggiunto branch_id facoltativo e nullable (stringa).
    • I riepiloghi delle invocazioni di test aggiungono credits_used facoltativo e nullable (intero) e total_price (numero).
  • Ottieni invocazione di test - GET /v1/convai/test-invocations/{test_invocation_id}
    • Le singole esecuzioni di test aggiungono credits_used facoltativo e nullable (intero) e charging (ConversationChargingCommonModel).
  • Simula conversazione e Simula stream di conversazione
    • Modificato il valore predefinito facoltativo di new_turns_limit da 10,000 a 100 e impostato il valore massimo a 100.
  • Crea job di crawling e Ottieni job di crawling
    • Aggiunto auto_discover facoltativo (booleano, valore predefinito false) per seguire i link e aggiungere le pagine appena individuate durante la sincronizzazione automatica. Richiede enable_auto_sync: true.
  • Aggiorna documento della knowledge base - POST /v1/convai/knowledge-base/{documentation_id}/refresh
    • AutoSyncInfo aggiunge auto_discover facoltativo (booleano, valore predefinito false) per indicare se gli aggiornamenti eseguono il crawling e aggiungono le pagine appena individuate.
  • Elenca strumenti del server MCP - GET /v1/convai/mcp-servers/{mcp_server_id}/tools
    • Le risposte aggiungono tool_approval_statuses facoltativo (array). Ogni elemento contiene tool_id obbligatorio (stringa) e state (up_to_date, needs_review o not_approved), con campi facoltativi relativi alla policy di approvazione e alla definizione approvata.

Text to Dialogue

  • Converti testo in dialogo, Trasmetti testo in dialogo, Converti con timestamp e Trasmetti con timestamp
    • Aggiunto use_pvc_as_ivc facoltativo (booleano, valore predefinito false) per usare la versione Instant Voice Clone di una Professional Voice Clone.
    • Aggiunti previous_text e future_text facoltativi e nullable (stringhe, massimo 100 caratteri) e previous_request_ids e next_request_ids (array di stringhe, massimo 3 ID) per la continuità della generazione.
    • L’oggetto settings facoltativo aggiunge similarity nullable (numero, 0–1, valore predefinito 0.75).

Text to Speech

Flows

Voice Design

Workspace

  • Crea chiave API dell’account di servizio - POST /v1/service-accounts/{service_account_user_id}/api-keys
    • Aggiunti tts_concurrency_limit, music_concurrency_limit e dubbing_concurrency_limit facoltativi e nullable (interi) per le chiavi API degli account di servizio Enterprise.
  • Aggiorna chiave API dell’account di servizio - PATCH /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}
    • Aggiunti tts_concurrency_limit, music_concurrency_limit e dubbing_concurrency_limit facoltativi. Ogni campo accetta un intero, clear, no_update o null e il valore predefinito è no_update.

Modelli

  • Elenca modelli - GET /v1/models
    • Deprecati i campi obbligatori max_characters_request_free_user e max_characters_request_subscribed_user. Questi campi non vengono applicati; usa invece maximum_text_length_per_request.

Immagini e video

  • Sora 2 e Sora 2 Pro ritirati: OpenAI interromperà la Sora API il 24 settembre 2026. Entrambi i modelli sono stati rimossi dal selettore dei modelli Immagini e Video e smetteranno di generare in quella data. Le generazioni esistenti restano disponibili nella tua cronologia. I Flows e i template che usano un nodo Sora devono passare a un altro modello video, come Gemini Omni 1.1 Flash, prima di poter essere eseguiti nuovamente.
  • Seedance 1.5 Pro deprecato: ByteDance ritirerà Seedance 1.5 Pro l’11 novembre 2026. Il modello non è più disponibile per nuove generazioni e smetterà di funzionare in quella data. Usa invece un modello Seedance 2.0.

ElevenAgents

  • Chiamate parallele degli strumenti: La configurazione del prompt dell’agente ora include enable_parallel_tool_calls (booleano, predefinito true). Se abilitato, i modelli supportati possono eseguire più strumenti in un unico turno.
  • Modelli degli agenti: Aggiunto gpt-6-astra alle opzioni LLM dell’agente.
  • Avvisi: Gli avvisi degli agenti ora supportano i canali Slack insieme ai notificatori PagerDuty e webhook.
  • Ricerca dei numeri di telefono: Aggiunto un endpoint dei numeri di telefono con paginazione basata su cursore e filtri per provider, supporto in uscita, agente e ramo assegnati, etichetta e numero di telefono.

Immagini e video

  • Modelli GPT Image 2.5: La generazione di immagini ora supporta gpt-image-2.5-flare e gpt-image-2.5-sunburst. Entrambi i modelli accettano fino a 10 immagini di riferimento, livelli di qualità fino a max, 14 rapporti d’aspetto fissi più auto e output 1K, 2K o 4K.

Speech Engine

  • Timeout a cascata: Le richieste di creazione e aggiornamento di Speech Engine ora accettano cascade_timeout_seconds (numero, 2–15, predefinito 4) per controllare quanto tempo ElevenLabs attende un motore vocale upstream prima di riprovare.

Text to Speech

  • Confini di turno multi-contesto: Il marcatore is_final_audio_for_turn ora viene emesso dopo ogni byte nel buffer per quel turno, inclusi gli output MP3 e Opus. I client possono usare il marcatore come confine esatto del turno senza passare a PCM.

Rilasci SDK

SDK JavaScript

  • v2.69.0 - Aggiunto transcriptEdit al wrapper Speech to Text in tempo reale, con testo modificato fornito tramite eventi edited_transcript. Corretta la verifica JWT di Speech Engine per le chiavi API con suffissi di residenza dei dati. Aggiunti phoneNumbers.listV2 e metodi per i template Flows per elencare e ottenere template, nonché elencare, creare e ottenere esecuzioni. Rigenerati client e tipi per GPT Image 2.5, avvisi degli agenti su Slack, chiamate parallele degli strumenti, gpt-6-astra, limiti di concorrenza delle chiavi API degli account di servizio, conservazione zero per Music, filtri delle conversazioni e stati di approvazione degli strumenti MCP.

SDK Python

  • v2.69.0 - Aggiunto transcript_edit al wrapper Speech to Text in tempo reale, con testo modificato fornito tramite eventi edited_transcript. Corretta la verifica JWT di Speech Engine per le chiavi API con suffissi di residenza dei dati e fatto in modo che play generi un errore quando ffplay non riesce. Aggiunti phone_numbers.list_v2 e metodi per i template Flows per elencare e ottenere template, nonché elencare, creare e ottenere esecuzioni. Rigenerati client e tipi per GPT Image 2.5, avvisi degli agenti su Slack, chiamate parallele degli strumenti, gpt-6-astra, limiti di concorrenza delle chiavi API degli account di servizio, conservazione zero per Music, filtri delle conversazioni e stati di approvazione degli strumenti MCP.

CLI ElevenLabs

  • v1.3.2 - Aggiunti metadati facoltativi --intent per raccogliere feedback sull’uso della CLI. Aggiunto elevenlabs feedback missing-capability per segnalare workflow non supportati dalla CLI.

API

Nuovi endpoint

ElevenAgents

  • Elenca pagina dei numeri di telefono - GET /v1/convai/v2/phone-numbers
    • Aggiunti i parametri di paginazione page_size facoltativo (intero, 1–1.000, predefinito 100) e cursor (stringa nullable).
    • Aggiunti i filtri facoltativi search, label, phone_number, provider, supports_outbound, agent_id, branch_id, sort_by e sort_direction. sort_by accetta label o phone_number; sort_direction è predefinito su asc.
    • La risposta contiene phone_numbers obbligatorio (array), next_cursor facoltativo e nullable (stringa) e has_more (booleano, predefinito false).

Endpoint aggiornati

ElevenAgents

  • Crea agente, Ottieni agente e Aggiorna agente
    • La configurazione del prompt aggiunge enable_parallel_tool_calls (booleano, predefinito true). Gli override del workflow accettano un booleano nullable.
    • L’enum LLM aggiunge gpt-6-astra, inclusi gli override per l’avvio della conversazione.
    • I notificatori dell’integrazione di avvisi ora usano integration_type per selezionare pagerduty o slack. I notificatori Slack richiedono connection_id e channel_id (stringhe); channel_id accetta da 1 a 64 caratteri.
  • Elenca conversazioni e Risolvi riferimento conversazione
    • data_collection_params non accetta più l’operatore missing. Usa un valore vuoto per trovare le conversazioni in cui il campo non è stato raccolto.
    • Un valore vuoto in dynamic_variable_params trova le conversazioni in cui la variabile non è stata impostata.
  • Crea Speech Engine, Ottieni Speech Engine e Aggiorna Speech Engine
    • Aggiunto cascade_timeout_seconds (numero, 2–15). Le richieste di creazione sono predefinite su 4, quelle di aggiornamento accettano un valore nullable e le risposte richiedono il campo.

Immagini e video

  • Crea generazione di immagini - POST /v1/flows/image
    • Aggiunte varianti della richiesta per gpt-image-2.5-flare e gpt-image-2.5-sunburst.
    • Entrambe le varianti richiedono prompt e model_id, accettano fino a 10 images e aggiungono resolution (1K, 2K o 4K, predefinito 1K).
    • quality accetta low, medium, high, xhigh o max ed è predefinito su high. aspect_ratio accetta auto e 14 rapporti fissi ed è predefinito su 16:9.

Doppiaggio

Knowledge base

  • Crea job di crawling - POST /v1/convai/knowledge-base/crawl
    • Deprecato max_depth (intero, predefinito 3). Il campo ora non ha effetto e non presenta più vincoli minimi o massimi.
    • I metadati del job di crawling non richiedono più max_depth.

Utente

Modifiche allo schema

Text to Speech

  • I messaggi WebSocket audio e final multi-contesto ora definiscono is_final_audio_for_turn come emesso dopo che tutti i byte nel buffer del turno sono stati forniti.

ElevenAgents

  • Accodamento delle chiamate e audio di attesa: Aggiunto l’accodamento delle chiamate per gli agenti al limite di concorrenza. I chiamanti in coda sentono l’audio di attesa e ricevono eventi queue_status finché non vengono ammessi o scade il tempo di attesa. Nuovi metodi API consentono di caricare o eliminare audio di attesa personalizzato.
  • Metadati delle versioni di test: I risultati dei test degli agenti ora identificano la versione dell’agente su cui sono stati eseguiti e se includevano modifiche in bozza. I riepiloghi delle invocation indicano inoltre quando i reinvii parziali sono stati eseguiti su versioni diverse.
  • Metadati di modelli e account: La configurazione LLM degli agenti ora accetta gemini-3.8-flash. Le risposte degli account WhatsApp identificano se l’account usa la Cloud API o il flusso di registrazione in coesistenza.

Musica

  • Supporto API Music v2.5: Gli endpoint e gli SDK Music ora accettano music_v2_5. I chunk di generazione dei piani di composizione supportano fino a 6.132 caratteri, con un massimo di 30 righe da 200 caratteri ciascuna.

Rilasci SDK

SDK JavaScript

  • v2.68.0 - Aggiunti metodi per caricare ed eliminare l’audio di attesa degli agenti. Rigenerati i tipi per l’accodamento delle chiamate, i riferimenti alle procedure, la creazione di rami in bozza, i limiti delle query RAG, i metadati delle versioni di test, gemini-3.8-flash e music_v2_5.

SDK Python

  • v2.68.0 - Aggiunti metodi sincroni e asincroni per caricare ed eliminare l’audio di attesa degli agenti. Rigenerati i tipi per l’accodamento delle chiamate, le procedure, la creazione di rami in bozza, i limiti delle query RAG, i metadati delle versioni di test, gemini-3.8-flash e music_v2_5. Il wrapper compose_detailed ora accetta ogni ID di modello musicale generato e piani di composizione basati sia su prompt sia su chunk.

SDK iOS

  • v3.3.1 - Riconcilia i messaggi degli agenti in base a response_id anziché a event_id, preservando più risposte attorno alle chiamate degli strumenti ed evitando che parti in streaming o correzioni vengano associate al messaggio sbagliato.

CLI ElevenLabs

  • v1.3.0 - Aggiunti metadati facoltativi --intent ai comandi API generati. Aggiunto elevenlabs feedback missing-capability per segnalare workflow non supportati dalla CLI.

Pacchetti

  • @elevenlabs/convai-widget-core@0.18.2 e @elevenlabs/convai-widget-embed@0.18.2 - Corrette le risposte duplicate degli agenti dopo chiamate di strumenti e procedure. Le risposte testuali in streaming mantengono la formattazione Markdown e le conversazioni vocali non visualizzano più parti della chat in streaming non pronunciate. Il pacchetto embed limita inoltre gli eventi user_activity a uno al secondo e rimuove il limite al termine di una sessione.

API

Nuovi endpoint

ElevenAgents

  • Carica audio di attesa dell’agente - POST /v1/convai/agents/{agent_id}/hold-audio
    • Accetta hold_audio_file obbligatorio (binario) come dati del form multipart. Il file deve essere MP3 o WAV, fino a 40 MB e 180 secondi.
    • Restituisce agent_id obbligatorio (stringa) e hold_audio (AgentHoldAudioConfig). L’oggetto hold-audio richiede audio_path, audio_url, original_filename (stringhe), duration_secs (numero) e size_bytes (intero).
  • Elimina audio di attesa dell’agente - DELETE /v1/convai/agents/{agent_id}/hold-audio
    • Rimuove la clip personalizzata, così i chiamanti in coda sentono il tono di attesa predefinito.
    • Restituisce agent_id obbligatorio (stringa).

Endpoint aggiornati

ElevenAgents

  • Crea agente, Ottieni agente e Aggiorna agente
    • Aggiunto platform_settings.queueing_config (AgentQueueingConfig) facoltativo con enabled (booleano, predefinito false) e wait_timeout_seconds (intero, 1–1.800, predefinito 180).
    • Le risposte di configurazione della coda includono hold_audio (AgentHoldAudioConfig) nullable di sola lettura. Le risposte dell’agente includono anche default_hold_audio_url facoltativo (stringa).
  • Ottieni conversazione - GET /v1/convai/conversations/{conversation_id}
    • I metadati aggiungono queue_wait_secs facoltativo e nullable (numero). Il tempo in coda è escluso da call_duration_secs e dal tempo fatturato.
  • Crea ramo dell’agente - POST /v1/convai/agents/{agent_id}/branches
    • Aggiunto include_draft facoltativo (booleano, predefinito false). Quando è true, un ramo creato dalla punta del ramo include il set di procedure in bozza del chiamante.
  • Elenca procedure e gli endpoint per creare, ottenere e gestire le bozze delle procedure
    • Gli elementi dell’elenco aggiungono referenced_tool_ids, referenced_kb_ids, referenced_procedure_ids e referenced_dynamic_variables facoltativi (array di stringhe).
    • Le risposte dell’agente e di anteprima del merge aggiungono procedures facoltativo, una mappa con chiave ID della procedura.
  • Elenca invocation di test - GET /v1/convai/test-invocations
    • Aggiunto search facoltativo e nullable (stringa) per filtrare test e cartelle per nome.
  • Esegui test sull’agente e Ottieni invocation di test
    • Le risposte di invocation della suite di test e di esecuzione dei test unitari aggiungono version_id facoltativo e nullable (stringa) e ran_against_draft facoltativo (booleano, predefinito false).
    • I riepiloghi delle invocation aggiungono anche runs_diverged_from_version facoltativo (booleano, predefinito false).
  • POST /v1/convai/agents/{agent_id}/knowledge-base/rag-query
    • Il body della richiesta aggiunge gli override specifici della query max_documents_length facoltativo e nullable (intero, 1–50.000) e max_retrieved_rag_chunks_count (intero, 1–20).
  • Ottieni account WhatsApp - GET /v1/convai/whatsapp-accounts/{phone_number_id}
    • Aggiunto account_type facoltativo (WhatsAppAccountType, predefinito cloud_api). I valori sono cloud_api e coexistence.
  • Calcola l’utilizzo LLM previsto - POST /v1/convai/agent/{agent_id}/llm-usage/calculate
    • LLMUsageCalculatorLLMResponseModel aggiunge price_per_message obbligatorio (numero).

Musica

  • MusicModelID aggiunge music_v2_5 per POST /v1/music/video-to-music, POST /v1/music/plan, Componi musica, POST /v1/music/detailed, POST /v1/music/detailed/stream, POST /v1/music/stream, POST /v1/music/upload e POST /v1/music/finetunes.
  • GenerationChunk.text aumenta maxLength da 6.000 a 6.132 caratteri per POST /v1/music/plan, POST /v1/music, POST /v1/music/detailed, POST /v1/music/detailed/stream, POST /v1/music/stream e POST /v1/music/upload. I nomi delle sezioni possono contenere da 1 a 100 caratteri e i chunk possono contenere fino a 30 righe con 200 caratteri per riga.

Modifiche allo schema

ElevenAgents

  • Gli eventi del server in tempo reale aggiungono queue_status. Il relativo queue_status_event.status obbligatorio accetta waiting, admitted o timed_out; timed_out precede il codice di chiusura WebSocket 4300. L’audio di attesa continua ad arrivare come normali eventi audio.
  • L’enum LLM aggiunge gemini-3.8-flash, inclusi gli override per l’avvio della conversazione.
  • Le union dei risultati degli strumenti di sistema delle conversazioni aggiungono start_procedure_success, start_procedure_error, end_procedure_success e end_procedure_error.
  • FeaturesUsageCommonModel aggiunge gli stati delle funzionalità facoltativi freeform_procedure e structured_procedure.

Scribe v2 Medical

Scribe v2 Medical è ora generalmente disponibile. È un modello di riconoscimento vocale batch specializzato in audio medico e clinico, fatturato alla stessa tariffa di Scribe v2.

Passa scribe_v2_medical come model_id in Crea trascrizione. I prompt con termini chiave, il rilevamento delle entità, la diarizzazione dei parlanti e la modalità non letterale funzionano come in Scribe v2.


ElevenAgents

  • Ticket delle conversazioni per tutto il workspace: aggiunto Elenca ticket del workspace per recuperare i ticket di triage delle conversazioni dagli agenti accessibili. Filtra per stato o assegnatario e usa la paginazione con cursore per recuperare fino a 100 ticket per pagina.
  • Filtri delle conversazioni per variabili dinamiche: Elenca conversazioni e Ricerca testuale nei messaggi delle conversazioni ora accettano filtri ripetibili dynamic_variable_params. Usa name:op:value con eq, gt, gte, lt o lte; gli operatori di confronto richiedono valori numerici.
  • Rilevamento della segreteria telefonica Twilio: le configurazioni per telefonia in uscita e chiamate batch ora supportano twilio_machine_detection facoltativo. Scegli enable per una valutazione tempestiva di persona o segreteria, oppure detect_message_end per attendere la fine del messaggio di saluto della segreteria. I risultati arrivano tramite il nuovo evento webhook answering_machine_detection.
  • Vincoli sui valori per la raccolta dati: le proprietà di raccolta dati ora possono usare allowed_values per indicare una variabile dinamica contenente i valori consentiti. Il precedente campo allowed_values_dynamic_variable è deprecato.
  • Metadati dell’agente: le risposte di Elenca rami dell’agente ora indicano quando è stata creata una bozza e se precede il tip del ramo. I riepiloghi dell’agente e del motore vocale ora richiedono voice_id.
  • URL di origine della knowledge base: i chunk delle query RAG dell’agente ora includono source_url obbligatorio e annullabile, contenente l’URL tracciato per i documenti URL.
  • Allegati nelle risposte dell’agente: gli eventi WebSocket agent_response ora includono attachments facoltativo. Ogni allegato richiede url e name e può includere mime_type.

Workspace

  • Limiti della piattaforma per le chiavi API: le risposte delle chiavi API degli account di servizio ora possono includere platform_limits Enterprise per crediti, Clonazioni Vocali Professionali e concorrenza per TTS, Doppiaggio e Musica.

Rilasci degli SDK

SDK JavaScript

  • v2.67.0 - Aggiunto dynamicVariableParams alle richieste di elenco e ricerca testuale delle conversazioni. Rigenerati i tipi per il rilevamento della segreteria telefonica Twilio, i vincoli sui valori per la raccolta dati, i limiti della piattaforma per le chiavi API, i metadati delle bozze dei rami dell’agente e gli URL di origine della knowledge base.

SDK Python

  • v2.67.0 - Aggiunto dynamic_variable_params ai metodi sincroni e asincroni di elenco e ricerca testuale delle conversazioni. Rigenerati i tipi per il rilevamento della segreteria telefonica Twilio, i vincoli sui valori per la raccolta dati, i limiti della piattaforma per le chiavi API, i metadati delle bozze dei rami dell’agente e gli URL di origine della knowledge base. Il client Text to Speech in tempo reale non passa più il sentinel interno di omissione alla connessione.

CLI ElevenLabs

  • v1.2.0 - Aggiunto il comando elevenlabs say e la relativa skill dell’agente, rigenerati i binding dei comandi API e reso eleven_v3 il modello TTS predefinito.

Pacchetti

API

Nuovi endpoint

ElevenAgents

  • Elenca ticket del workspace - GET /v1/convai/triage-tickets
    • Elenca i ticket di triage delle conversazioni per tutti gli agenti a cui il chiamante può accedere, ordinati prima per data di creazione più recente.
    • Aggiunti i parametri query facoltativi page_size (numero intero, 1–100, valore predefinito 100), status (AgentConversationTicketStatus), assignee_user_id (stringa o unassigned) e cursor (stringa).
    • Restituisce GetAgentConversationTicketsPageResponseModel.

Endpoint aggiornati

ElevenAgents

  • Elenca conversazioni - GET /v1/convai/conversations
    • Aggiunto dynamic_variable_params facoltativo e annullabile (array di stringhe ripetibile). Ogni valore usa name:op:value, dove op è eq, gt, gte, lt o lte.
  • Ricerca testuale nei messaggi delle conversazioni - GET /v1/convai/conversations/messages/text-search
    • Aggiunto dynamic_variable_params facoltativo e annullabile (array di stringhe ripetibile) con la stessa sintassi.
  • Chiamata Twilio in uscita, Chiamata in uscita tramite trunk SIP, Chiamata Exotel in uscita e Invia chiamate batch
    • telephony_call_config ora usa schemi di input e output separati.
    • Aggiunto twilio_machine_detection facoltativo e annullabile (TwilioMachineDetectionConfig). Il relativo mode accetta enable o detect_message_end e il valore predefinito è enable. L’impostazione viene ignorata per i provider non Twilio e le chiamate in entrata.
  • Importa numero di telefono - POST /v1/convai/phone-numbers
    • Aggiunto account_auth_token facoltativo e annullabile (stringa) per le importazioni di chiavi API Twilio, al fine di convalidare le firme dei webhook in entrata.

Modifiche agli schemi

ElevenAgents

  • WebhookEventType aggiunge answering_machine_detection.
  • AgentBranchSummary aggiunge draft_created_at facoltativo e annullabile (numero intero) e draft_is_behind_tip facoltativo (booleano, valore predefinito false).
  • AgentKnowledgeBaseRagChunkResponseModel aggiunge source_url obbligatorio e annullabile (stringa).
  • AgentSummaryResponseModel e SpeechEngineSummaryResponse aggiungono voice_id obbligatorio (stringa).
  • AnalysisProperty aggiunge name facoltativo e annullabile (stringa) e allowed_values (AllowedValues). Anche LiteralJsonSchemaProperty aggiunge allowed_values. Entrambi deprecano allowed_values_dynamic_variable.
  • DataCollectionResultCommonModel aggiunge name facoltativo e annullabile (stringa).
  • WorkspaceApiKeyResponseModel aggiunge platform_limits facoltativo e annullabile (PlatformLimits).
  • Lo strumento MCP Icon aggiunge theme facoltativo e annullabile (light o dark).
  • SMBToolConfig aggiunge le varianti di parametri send_custom_email, create_service_quote_request e create_product_quote_request.
  • Gli schemi dei parametri query dei webhook e la configurazione delle chiamate telefoniche ora usano modelli di input e output separati.
  • Gli eventi WebSocket agent_response aggiungono attachments facoltativo (array). Ogni elemento richiede url e name (stringhe) e accetta mime_type facoltativo (stringa).

ElevenCreative

  • ReferenceVideo.studio_clip ora usa StudioClipLocator invece di StudioClipReference. I campi e il formato wire restano invariati.

ElevenAgents

  • Input da tastierino telefonico: la configurazione delle conversazioni degli agenti ora supporta dtmf_input_settings facoltativo per l’input DTMF. Configura il timeout delle cifre, usa # come terminatore e oscura le voci del tastierino nelle trascrizioni, nei log e nelle analisi.
  • Cronologia degli allegati della conversazione: le voci della trascrizione di Recupera conversazione ora includono file_inputs, un array che contiene ID, nome, tipo MIME e URL di ogni file allegato.
  • Filtro per tag degli agenti: Elenca agenti ora accetta un parametro query tags facoltativo. Ripeti il parametro per trovare gli agenti con uno qualsiasi dei tag forniti.
  • Contesto delle campagne batch: Recupera conversazione ora identifica le chiamate batch con metadati campaign annullabili contenenti i campi obbligatori campaign_id e campaign_lead_id.

Musica

  • Dati visivi della forma d’onda: Genera musica dettagliata, Trasmetti musica con dettagli e Carica musica ora accettano with_waveform_visual facoltativo (booleano, valore predefinito false). Le risposte con l’opzione attivata restituiscono un array di numeri interi waveform_visual a bassa risoluzione con quattro campioni al secondo.

Doppiaggio

Rilasci degli SDK

SDK JavaScript

  • v2.66.0 - Aggiunto fileIds a sendMultimodalMessage, consentendo a un messaggio di includere più allegati di file.

SDK Python

  • v2.66.0 - Aggiunto file_ids a send_multimodal_message, consentendo a un messaggio di includere più allegati di file.

SDK Android

  • v0.12.2 - Preservato il callback onUnhandledClientToolCall durante il collegamento degli eventi di sessione. Le chiamate non gestite agli strumenti client che richiedono una risposta ora ricevono la risposta di errore automatica invece di rimanere irrisolte.

CLI ElevenLabs

  • v1.1.0 - Rigenerati i binding dei comandi API e aggiunta l’attribuzione delle richieste basata sul comando per i workflow di ElevenAgents. Questi comandi aggiungono cmd/<command> allo User-Agent della CLI, consentendo di distinguere le richieste provenienti da workflow come agents push e agents create.

Pacchetti

API

Endpoint aggiornati

ElevenAgents

  • Elenca agenti - GET /v1/convai/agents
    • Aggiunto tags facoltativo e annullabile (array di stringhe). Ripeti il parametro query per trovare qualsiasi tag fornito.
  • Crea agente, Recupera agente e Aggiorna agente
    • Aggiunto conversation_config.conversation.dtmf_input_settings facoltativo e annullabile (DTMFInputConfig). Supporta dtmf_input_timeout (numero, 0,5–10 secondi, valore predefinito 2), hash_terminator (booleano, valore predefinito true) e redact_input (booleano, valore predefinito false).
    • Aggiunto sip_refer_play_dialtone facoltativo (booleano, valore predefinito true) alla configurazione del trasferimento del numero di telefono. Impostalo su false per mantenere silenziosa la tratta di chiamata originale mentre viene completato un trasferimento SIP REFER.
    • Gli strumenti di sistema per le procedure di avvio e fine ora accettano ProcedureVersionRef o ProcedureDraftRef. I riferimenti alle bozze richiedono procedure_id (stringa) e impostano version_id su null.
  • Recupera conversazione - GET /v1/convai/conversations/{conversation_id}
    • Aggiunto file_inputs (array di ConversationHistoryTranscriptFileInputResponseModel) alle voci della trascrizione. Ogni elemento richiede file_id, original_filename, mime_type e file_url (stringhe).
    • Aggiunto campaign facoltativo e annullabile (BatchCallingCampaignInformation) ai metadati delle chiamate batch. L’oggetto richiede campaign_id e campaign_lead_id (stringhe).
    • Aggiunto dtmf a ChatSourceMedium.
  • I tipi di problemi nei ticket di triage delle conversazioni aggiungono incorrect_information, documentation_gap, platform_bug e wrong_action.

Musica

  • Genera musica dettagliata (POST /v1/music/detailed) e Trasmetti musica con dettagli (POST /v1/music/detailed/stream)
    • Aggiunto with_waveform_visual facoltativo (booleano, valore predefinito false).
    • Le risposte dettagliate aggiungono waveform_visual annullabile (array di numeri interi), campionato quattro volte al secondo da -1000 a 1000.
  • Carica musica - POST /v1/music/upload
    • Aggiunti with_waveform_visual facoltativo (booleano, valore predefinito false) e waveform_visual annullabile (array di numeri interi) nella risposta.

ElevenCreative

Doppiaggio

  • Elenca progetti di Doppiaggio - GET /v1/dubbing/project
    • page_size rimane un numero intero facoltativo con valore predefinito 20, ma i valori ora sono limitati a 1–100 invece di essere rifiutati.
    • Il filtro status ora documenta queued, preparing, ready e failed.
    • Passa next_cursor della risposta precedente in cursor; omettilo per la prima pagina.
  • Elenca lingue di destinazione - GET /v1/dubbing/project/{project_id}/language
    • page_size rimane un numero intero facoltativo con valore predefinito 20, ma i valori ora sono limitati a 1–100 invece di essere rifiutati.
    • Il filtro status supporta queued, processing, completed, stale e failed.
    • Passa next_cursor della risposta precedente in cursor; omettilo per la prima pagina.

Modifiche agli schemi

Workspace

  • PendingSubscriptionSwitchResponseModel.next_tier aggiunge grant.