Eleven Realtime
Eleven Realtime is a new family of models for ElevenAgents voice agents, rolling out gradually across workspaces. Each one is a complete voice agent configuration. You pick one model, and ElevenLabs handles the LLM, Speech to Text and Text to Speech settings behind it. Your agent’s system prompt, voice, tools and knowledge base work the same as before.
There are two to choose from. Eleven Realtime v1 Mini (eleven_realtime_v1_mini) is the default, and it’s the fastest and cheapest. Eleven Realtime v1 Max (eleven_realtime_v1_max) reasons before it answers, so use it when your agent has complex instructions or multi-step tool calls.
If you’ve already built on OpenAI’s Realtime API, you don’t need to rewrite your client. The events and the WebSocket transport are the same, so you change the endpoint and the session configuration. Your backend calls Create realtime client secret to get a short-lived secret, and the browser uses it to connect directly.
Realtime Translation
Realtime Translation turns speech in one language into speech in another while the speaker is still talking. It’s a WebSocket API, available now for enterprise workspaces.
You open a connection with a target_language and a voice_id, then stream audio in. You get translated speech back in that voice. You don’t have to say which language the speaker is using, because it’s detected automatically, but you can set source_language if you know it. Along the way, the server also sends live transcripts of the original speech and the translated text, for example to show captions.
eagerness controls the tradeoff between speed and quality. high starts translating soonest, and low waits for more of the sentence. The translated voice uses Eleven v4 Turbo by default, and you can switch to eleven_v3 or eleven_flash_v2_5 with tts_model_id. For sensitive conversations, set enable_zrm=true to use Zero Retention Mode.
Video to Music
Video to Music writes a soundtrack for your video. The Video to music API is now available: you upload a video and get back music that fits it, without writing a music prompt from scratch. Use it to score product videos, ads and social clips.
You can send up to 10 video files (200 MB combined). They’re joined in order and scored as one video. To steer the result, add a text description and up to 10 style tags.
Three options are worth knowing. use_audio_as_reference takes the genre, BPM, instruments and mood from the video’s own audio. add_sfx adds sound effects that match the video. separate_tracks returns the music and the sound effects as separate files in a ZIP, so you can mix them yourself.
ElevenAgents
- Alerts: Alerts notify a workspace when agent error rates exceed a threshold or rise sharply above their recent baseline. Monitors cover conversation failures, tool failures, webhook errors, guardrail triggers, call initiation errors and evaluation success scores, and run with default thresholds without any setup. Agent-level thresholds and notifiers can be set through
platform_settings.alertingon Update agent. Notifications can be delivered as webhooks, to Slack or to PagerDuty. - Guardrails generally available: Guardrails are no longer in alpha.
- Workspace environments: Environments for environment variables can now be managed through the API with List environments, Create environment and Delete environment. A variable without a value for an environment falls back to its
productionvalue. Deleting an environment removes its values from all variables, andproductioncannot be deleted. - Answering machine detection actions: Twilio answering machine detection settings on Outbound call and Submit batch call accept
actions, a list of rules that pair anaction(hang_up) with theanswered_byverdicts that trigger it, such asmachine_startorfax. Verdicts without a rule leave the call running. - New LLMs: Agents can use
gemini-4-argon,claude-opus-4-6and the ElevenLabs-hostednemotron-35-super-vl-nvfp4. See Models. - Authored-only workflow reads: Get agent and Update agent accept
include_procedure_generated_workflow_elements. Set it tofalseto receive only the workflow nodes and edges you authored, excluding the ones compiled from structured procedures. Defaults totrue, so existing callers are unchanged. - Branch rebasing from any branch: Rebase branch and Preview rebase accept an optional
source_branch_idto pull changes from a branch other than main. - Delete agents used as subagents: Delete agent accepts
force. Whentrue, the agent is deleted even if other agents use it as a subagent, and it is removed from those agents and their branches. - Sort agents by last update: List agents accepts
sort_by=updated_at, and each agent summary includesupdated_at_unix_secs, the last time the main branch or agent-level settings changed. - Google Calendar event updates: The Google Calendar integration adds
google_calendar_update_eventandgoogle_calendar_delete_eventtools. Both are privileged tools that can change or cancel any event on the connected calendar.
Music and Sound Effects
- Zero Retention Mode: Music generation, composition plan, stem separation and video to music endpoints, plus Sound Effects, accept
enable_logging=falseto use Zero Retention Mode. Zero Retention Mode is available to enterprise customers. Music requests that setstore_for_inpainting=trueare rejected in this mode. - WAV output for sound effects: Sound Effects accepts
wav_8000,wav_16000,wav_22050,wav_24000,wav_32000,wav_44100andwav_48000output formats.
Speech Engine
- 40-minute conversations: Speech Engine supports conversations of up to 40 minutes. The default limit remains 10 minutes. Raise
conversation.max_duration_secondsto allow longer conversations. - Sort by last update: List Speech Engines accepts
sort_by=updated_at, and each summary includesupdated_at_unix_secs.
Dubbing
- Subtitles for dubbed languages: Dubbing project language outputs (
GET /v1/dubbing/project/{project_id}/language/{language_id}) includesubtitles, a signed URL to the translated lines as WebVTT subtitles timed to the source speech. The URL expires one hour after it is issued.
Voices
- Resubmittable voice reviews: Voice sharing
review_statusaddsdeclined_resubmittablefor declined voices that can be resubmitted for review.
Workspaces
- Disable service account API keys: Disable service account API key disables a service account API key without changing its other settings. It remains available after a workspace downgrades from a plan that includes service accounts.
- Group concurrency limits: List workspace groups and List service accounts return
group_concurrency_limit,group_dubbing_concurrency_limitandgroup_music_concurrency_limitfor each group, and group permissions addall_resources_access.
SDK releases
JavaScript SDK
- v2.74.0 - Added
client.conversationalAi.realtime.createClientSecretfor the Realtime API, with theRealtimeModeland OpenAI-compatible session configuration types, and anenvironmentsclient withlist,createanddelete. Also addsforceon agent deletion,sourceBranchIdon branch rebase and rebase preview,includeProcedureGeneratedWorkflowElementson agent reads,enableLoggingon Music and Sound Effects methods, WAV output formats for Sound Effects, service account API keydisable, and Twilio answering machine detectionactions. - v2.73.0 - Added
createAndWaithelpers for Flows image, video and Text to Speech generations and template runs (client.flows.templates.runs.createAndWait). They create the request and poll until it completes or fails, pacing requests with the server’sRetry-Afterheader. Afailedresult is returned rather than thrown, andwaitTimeoutInSecondsthrowsFlowsWaitTimeoutErrorif the work is not finished in time. The regenerated client adds the Video to musicadd_sfx,separate_tracksanduse_audio_as_referenceoptions.
Python SDK
- v2.74.1 -
music.compose_detailednow accepts and forwardsenable_logging, which the custom wrapper previously dropped, so Zero Retention Mode works with this method. - v2.74.0 - Added
client.conversational_ai.realtime.create_client_secretfor the Realtime API and anenvironmentsclient, with the same regenerated API changes as JavaScript SDK v2.74.0. - v2.73.0 - Added
create_and_waithelpers for Flows image, video and Text to Speech generations and template runs, for both sync and async clients, withwait_timeout_in_secondsandmin_poll_interval_in_secondsoptions and aFlowsWaitTimeoutErrorexported fromelevenlabs.flows_custom. Type checkers such as pyright now resolveclient.webhooks.construct_event,client.speech_to_text.realtime,client.text_to_speech.convert_realtimeand the custom Music methods. Includes the same regenerated API changes as the JavaScript SDK. - v2.73.1 - Fixed the test suite on Python 3.13 and later, and added Python 3.13 and 3.14 to CI.
ElevenLabs CLI
- v1.7.0 - Regenerated API commands, adding environments, realtime client secrets and service account API key disabling.
- v1.6.0 - Added
create-and-waitcommands forflows image,flows video,flows text-to-speechandflows templates runs. Each command returns a finished result, with--wait-timeoutand--min-poll-intervaloptions. - v1.5.1, v1.5.2, v1.5.3 and v1.6.1 - Bug fixes for onboarding, including Windows support.
Packages
- @elevenlabs/client@1.28.0 - Added the experimental
persistentSessionoption for resumable text conversations over WebSocket, and theonConversationHistorycallback for the transcript the server replays on resume. WebSocket sessions now also emitonConversationMetadata. - @elevenlabs/react@1.18.0 - Forwards the experimental
onConversationHistorycallback to@elevenlabs/client. - @elevenlabs/types@0.25.0 - Added the
conversation_historyserver event and thepersistent_session_tokenfield onconversation_initiation_metadata. - @elevenlabs/react-native@1.2.30 - Updated to
@elevenlabs/client@1.28.0and@elevenlabs/react@1.18.0. - @elevenlabs/convai-widget-core@0.20.0 and @elevenlabs/convai-widget-embed@0.20.0 - Added the
persistent-sessionattribute. Text conversations survive a dropped connection or a page reload: the widget keeps the transcript, reopens the chat, renders the history replayed by the server and resumes the conversation. End chat discards the stored conversation. Workspaces without persistent sessions fall back to a standard conversation. - @elevenlabs/convai-widget-core@0.19.1 and @elevenlabs/convai-widget-embed@0.19.1 - First message quick replies are shown below the first message in voice calls.
API
View API changes
New endpoints
ElevenAgents
-
Create realtime client secret -
POST /v1/convai/realtime/client_secrets- Create an ephemeral client secret for browser-based Realtime API sessions. Accepts an optionalsession(OpenAI-compatible session configuration withmodelofeleven_realtime_v1_mini(default) oreleven_realtime_v1_max,instructions,audio,tools,turn_detectionandmax_duration_secondsfrom 60 to 7,200, default 600) and optionalexpires_afterwith requiredseconds(integer). Returnsvalue(string),expires_at(integer) and the echoedsession. -
List environments -
GET /v1/convai/environments- List the workspace environments, includingproduction. Each environment hasname, nullableupdated_at_unix_secsand nullablecreated_by_user_id. -
Create environment -
POST /v1/convai/environments- Create an environment with a required, uniquename(string). Returns409if the name is taken. -
Delete environment -
DELETE /v1/convai/environments/{environment}- Delete an environment and remove its values from all environment variables. Returns204.
Workspaces
- Disable service account API key -
POST /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}/disable- Disable a service account API key without changing its other settings.
Updated endpoints
ElevenAgents
- Get agent, Update agent, Preview rebase and Preview merge
- Added optional
include_procedure_generated_workflow_elements(boolean, defaulttrue). Whenfalse, the returned workflow contains only authored nodes and edges, without those generated from structured procedures.
- Added optional
- Create agent, Get agent and Update agent
- The
llmenum addsgemini-4-argon,claude-opus-4-6andnemotron-35-super-vl-nvfp4. - TTS configuration
effectsremoves the deprecatedseedfield.
- The
- Delete agent - Added optional
force(boolean, defaultfalse). - List agents -
sort_byaddsupdated_at. Agent summaries add requiredupdated_at_unix_secs(integer). - Rebase branch and Preview rebase - Added optional
source_branch_id(string). Defaults to the agent’s main branch. - Outbound call, Submit batch call and Get batch call
- Twilio machine detection configuration adds
actions, an array of rules with requiredaction(hang_up) and requiredanswered_by(array ofhuman,fax,unknown,machine_start,machine_end_beep,machine_end_silenceormachine_end_other). Each action can appear in at most one rule.
- Twilio machine detection configuration adds
- Get conversation details
- Transcript tool calls add nullable
tool_id(string). It is not set for tools without an ID, such as system tools. - Turn metrics add nullable
voice_id(string). - Tool results add nullable
to_agentandto_node(string). - WhatsApp conversation info adds nullable
recipientwith nullablephoneandbsuid(string), and nullablecall_permission_requestwith requiredstate(blocked,sent,acceptedordeclined) and nullablerequested_at_unix(integer). - The platform charge category enum adds
v3_addon,v4_addonandrag_addon.
- Transcript tool calls add nullable
- Get ticket, List tickets and List workspace tickets
- Ticket responses add required
status_changes, an array of objects withstatus, nullablechanged_by_user_id(string) andchanged_at_unix_secs(integer).
- Ticket responses add required
Text to Speech and Text to Dialogue
- Create speech, Stream speech, Create dialogue and Stream dialogue, including their timestamp variants -
use_pvc_as_ivcis now nullable and no longer declares a default offalse.
Music
- Compose music, Compose detailed, Stream music, Compose detailed stream, Separate stems, Video to music and
POST /v1/music/plan- Added optional
enable_loggingquery parameter (boolean, defaulttrue). Set it tofalsefor Zero Retention Mode.
- Added optional
- Video to music - Added optional
add_sfx,separate_tracksanduse_audio_as_reference(boolean, defaultfalse).
Sound Effects
- Create sound effect
- Added optional
enable_loggingquery parameter (boolean, defaulttrue). output_formataddswav_8000,wav_16000,wav_22050,wav_24000,wav_32000,wav_44100andwav_48000.
- Added optional
Speech Engine
- List Speech Engines -
sort_byaddsupdated_at. Summaries add requiredupdated_at_unix_secs(integer).
Speech to Text
- Create transcript and Get transcript - Edited transcripts add required, read-only
edited_text(string), matchingtextand theedited_textfield of the realtimeedited_transcriptevent.
Dubbing
GET /v1/dubbing/project/{project_id}/languageandGET /v1/dubbing/project/{project_id}/language/{language_id}- Language outputs add nullablesubtitles(string, signed URL).
Voices
- Get voice, List voices and Get voices - Voice sharing
review_statusaddsdeclined_resubmittable.
Workspaces
- List workspace groups and List service accounts
- Groups add nullable
group_concurrency_limit,group_dubbing_concurrency_limitandgroup_music_concurrency_limit(integer orunlimited). - Group permissions add
all_resources_access.
- Groups add nullable
ElevenAgents
- Merge and search triage tickets: Merge tickets folds up to 50 open tickets from the same agent into one target ticket. Merged tickets keep the status
mergedand reference the target throughmerged_into_ticket_id. List tickets and List workspace tickets add a case-insensitivesearchparameter that matches ticket titles, descriptions, comments and turn comments, and each result includes asearch_matchexcerpt showing where the query matched. - Workflow End node outcomes: Workflow End nodes accept an
outcomeofsuccess(default) orfailure, so a workflow can record whether a conversation ended successfully. The conversation error type addsworkflow_end_failure. - Call queueing enabled for new agents: New agents are created with call queueing enabled unless
platform_settings.queueing_config.enabledis set explicitly. Existing agents keep their current setting. - Post-call audio webhook retries: When Enable retries is on,
post_call_audiowebhooks are retried on the same schedule as transcription webhooks. Audio payloads over 50 MiB are not retried, and queued audio retries are capped at 400 MiB per webhook. - Strict tool overrides: The conversation override
tool_ids_strictmakes an overriddentool_idslist the complete set of tools available in the conversation, including tools on workflow nodes. It is ignored when set on the agent itself. - Widget end confirmation: The widget can ask users to confirm before ending a chat or call. Enable it with
end_confirmation_enabledin the widget configuration or theend-confirmationattribute.
Text to Speech
- Audio effects: Text to Speech and Text to Dialogue requests accept an optional
audio_effectsobject. It applies a filter preset, perceived distance, a reverb environment, a looped background noise bed and stereo panning to the generated audio. List valid preset, environment and background noise IDs withGET /v1/audio-effects/catalog. Reverb and non-zero panning produce stereo audio and are rejected forulaw_*,alaw_*andpcm_*output formats. Effects do not change the cost of a request.
Speech to Text
- Turn prediction commit strategy: The realtime Speech to Text WebSocket adds
turn_predictionas acommit_strategyvalue. In addition to silence-based segmentation, it commits a segment as soon as the model predicts the speaker has finished their turn. It is the default for models that predict turns, and partial transcripts from those models includeturn_probability. See transcripts and commit strategies.
Voices
- Voice collections API: Voice collections can now be managed through the API. Create, list, update and delete collections, and add or remove voices. See List voice collections.
Workspaces
- Basic seat fallback: Update member accepts
allow_downgrade_to_basic_seat. When unlocking a user whose original seat type has no seats available, the user is moved to a basic seat instead of the request failing. - Workspace ID on user: Get user returns the
workspace_idof the workspace the API key belongs to.
SDK releases
JavaScript SDK
- v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept
audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds theturn_predictioncommit strategy.
Python SDK
- v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept
audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds theturn_predictioncommit strategy.play()andsave()now accept any iterable of audio chunks, such as a list or tuple.RealtimeEvents.CLOSEhandlers receive a dictionary with the WebSocket closecodeandreason; handlers without parameters continue to work.
ElevenLabs CLI
- v1.5.0 - Regenerated API commands, adding voice collections, the audio effects catalog, triage ticket merging and agent merge proposals.
Packages
- @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0 - Added a
previousTextoption toScribe.connect()anduseScribe()in microphone mode. The text is sent with the first audio chunk to give the model context, such as existing document text, for casing, punctuation and sentence continuation.MediaDeviceOutputnow receiveslibsampleratePath, so output resampling uses the same custom libsamplerate bundle path asMediaDeviceInput. - @elevenlabs/react-native@1.2.29 - Updated to
@elevenlabs/client@1.27.0and@elevenlabs/react@1.17.0. - @elevenlabs/convai-widget-core@0.19.0 and @elevenlabs/convai-widget-embed@0.19.0 - Added an optional confirmation dialog before ending a chat or call, enabled with the
end-confirmationattribute orend_confirmation_enabledconfig, with customizable text. Added carousel rich content with scrollable item cards that can include an image, subtitle, description and actions. Carousels remain in the transcript after a reply, without their actions. Rich content is now shown during voice calls when the transcript is visible.
API
View API changes
New endpoints
ElevenAgents
- Merge tickets -
POST /v1/convai/triage-tickets/{agentqa_ticket_id}/merge- Merge open tickets into the target ticket. Requiressource_ticket_ids(string array, 1–50 items) and returns the target ticket.
Voices
- List voice collections -
GET /v1/voices/collections- List the voice collections the caller can access, sorted by title. - Create voice collection -
POST /v1/voices/collections- Create a collection with requiredtitleandicon(string, maximum 1,000 characters each). - Get voice collection -
GET /v1/voices/collections/{collection_id}- Retrieve a collection with itstitle,iconand the caller’spermission_on_resource(admin,editor,commenterorviewer). - Update voice collection -
PATCH /v1/voices/collections/{collection_id}- Update the optionaltitleoricon. - Delete voice collection -
DELETE /v1/voices/collections/{collection_id} - Add voice to collection -
POST /v1/voices/collections/{collection_id}/voice/{voice_id} - Remove voice from collection -
DELETE /v1/voices/collections/{collection_id}/voice/{voice_id}
Audio effects
GET /v1/audio-effects/catalog- List the availablefilter_presets,environmentsandbackground_noises. Each entry has an ID, anameand a nullabledescription.
Updated endpoints
ElevenAgents
- Create agent, Get agent and Update agent
- Workflow End nodes add
outcome(successorfailure, defaultsuccess). The field is required in responses. - Standalone workflow agent nodes and agent transfer configurations add nullable
branch_id(string) to target a specific branch of the destination agent. When unset, the transfer follows the target agent’s traffic deployment. Transfer tool results add aconfiguredbranch reason. - Prompt override configurations add
tool_ids_strict(boolean, defaultfalse). - TTS configuration
effectsaddpan(number, -1 to 1, default0). Theseedfield is deprecated and has no effect.
- Workflow End nodes add
- Get widget config - Added
end_confirmation_enabled(boolean, defaultfalse). - List tickets
- Added optional
search(string, maximum 200 characters) andmerged_into_ticket_id(string) query parameters. - Ticket responses add nullable
merged_into_ticket_idand nullablesearch_matchwithfield(title,description,commentorturn_comment),snippet,highlight_start,highlight_endand nullableturn_index.
- Added optional
- List workspace tickets - Added optional
agent_id,sources,priorities,sort_by(created_atorpriority, defaultcreated_at),owner_user_id,issue_type,label,merged_into_ticket_idandsearchquery parameters. - List tests - Added optional
created_by_user_id(string). Use@mefor the authenticated user. - List test invocations - Added optional
test_id(string),version_id(string),start_timeandend_time(integer, Unix seconds, inclusive) query parameters. - Update agent branch - Added optional
auto_rebase(boolean). Branch responses addauto_rebase(boolean, defaultfalse). - Get conversation details
- Twilio, SIP trunk and Exotel phone call metadata add nullable
call_resultwithanswered,voicemail,busy,no_answerandfailedvalues. - Batch call metadata adds nullable
cold_attempt(integer) and nullableconversation_type(initial,retry,callbackorredirect). - The conversation error type adds
workflow_end_failure.
- Twilio, SIP trunk and Exotel phone call metadata add nullable
- Knowledge base auto-sync
auto_discoveris deprecated and no longer has any effect.
Text to Speech
- Create speech, Stream speech, Create speech with timing and Stream speech with timing
- Added optional nullable
audio_effectswithfilter_preset_id(string),distance(number, 0–1, default0),environment_id(string),background_noise_id(string),send_level(number, 0–1, default1) andpan(number, -1 to 1, default0). - Unknown effect IDs return
404. Stereo effects return400forulaw_*,alaw_*andpcm_*output formats.
- Added optional nullable
Text to Dialogue
- Create dialogue, Stream dialogue, Create dialogue with timestamps and Stream dialogue with timestamps - Added optional nullable
audio_effects, matching the Text to Speech endpoints.
Speech to Text
- Realtime Speech to Text
- The
commit_strategyquery parameter addsturn_prediction, alongsidemanualandvad. partial_transcriptmessages add optionalturn_probability(number), sent only for models that predict turns.
- The
Music
POST /v1/music/video-to-music- Responses add asong-idheader with the ID of the generated song.
History
- List generated items - The history item
sourceenum addsVoicePreview.
Workspace and user
- Update member - Added optional
allow_downgrade_to_basic_seat(boolean, defaultfalse). - Get user - Added required
workspace_id(string). - Service account API key permissions add
voice_collections_readandvoice_collections_write.
ElevenAgents
- Le procedure strutturate vengono compilate al salvataggio e alla pubblicazione: Aggiorna agente e Crea bozza di agente ora compilano e convalidano automaticamente le procedure strutturate. Le integrazioni non devono più chiamare l’endpoint di compilazione né aggiornare manualmente il workflow generato. Le procedure non valide restituiscono errori per singola procedura come
400 procedure_validation_failed. Gli agenti senza procedure strutturate non sono interessati. - L’endpoint di compilazione delle procedure è legacy: Compila procedure è contrassegnato come legacy e non deve essere usato dalle nuove integrazioni. Rimane disponibile per i chiamanti esistenti.
- Proposte di merge: le proposte di merge sono disponibili in alpha. I team possono aprire una proposta per un branch di agente, esaminare le modifiche alla configurazione e i risultati dei test, lasciare commenti o decisioni di approvazione e unire le modifiche approvate in un branch di destinazione. Consulta Proposte di merge.
Rilasci SDK
SDK JavaScript
- v2.71.0 - Aggiunti client per le proposte di merge degli agenti, la cronologia dei deployment, l’annullamento delle invocazioni di test e la duplicazione di Speech Engine. La release aggiunge inoltre priorità e ordinamento dei ticket di triage, limiti di esportazione delle chiamate batch,
gpt-6.1-sol,claude-sonnet-5-5, modelli vocali per agenti Eleven v4 e tipi di configurazione correnti degli agenti.
SDK Python
- v2.71.0 - Aggiunti client per le proposte di merge degli agenti, la cronologia dei deployment, l’annullamento delle invocazioni di test e la duplicazione di Speech Engine. La release aggiunge inoltre priorità e ordinamento dei ticket di triage, limiti di esportazione delle chiamate batch,
gpt-6.1-sol,claude-sonnet-5-5, modelli vocali per agenti Eleven v4 e tipi di configurazione correnti degli agenti.
SDK Swift
- v3.4.0 - Le variabili dinamiche ora preservano i tipi JSON nativi quando vengono inviate nei dati di avvio della conversazione.
Pacchetti
- @elevenlabs/client@1.26.0, @elevenlabs/react@1.16.0, @elevenlabs/react-native@1.2.28 e @elevenlabs/types@0.24.0 - Aggiunta la modifica delle trascrizioni Speech to Text in tempo reale tramite
transcriptEdit, l’eventoedited_transcripte il callback ReactonEditedTranscript. React ora inoltrafilterBackgroundAudioalle sessioni in tempo reale. Il client esporta inoltreMessagePayloade usa ID risposta stabili per evitare risposte duplicate degli agenti. - @elevenlabs/convai-widget-core@0.18.3 e @elevenlabs/convai-widget-embed@0.18.3 - Aggiunte anteprime delle immagini e link per il download degli allegati ai messaggi degli agenti, incluse le risposte contenenti solo allegati. Gli ID risposta stabili evitano risposte duplicate e le conversazioni solo testuali ora usano un controllo di arresto con un tooltip Termina chat.
API
Visualizza le modifiche all'API
Nuovi endpoint
ElevenAgents
- Crea una proposta di merge -
POST /v1/convai/agents/{agent_id}/merge-proposals- Crea una proposta con i campi obbligatorisource_branch_id,target_branch_idetitle, oltre a una descrizione facoltativa, ID revisori e ID ticket di triage. - Elenca proposte di merge -
GET /v1/convai/agents/{agent_id}/merge-proposals- Elenca le proposte con filtri per stato, branch di origine, branch di destinazione e testo, oltre alla paginazione tramite cursore. - Ottieni una proposta di merge -
GET /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}- Recupera una proposta e i dettagli relativi a revisione, commenti ed esito. - Aggiorna una proposta di merge -
PATCH /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}- Aggiorna titolo, descrizione o revisori richiesti, oppure chiudila senza eseguire il merge. - Esamina una proposta di merge -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/reviews- Invia una decisioneapprovedochanges_requestedcon un commento facoltativo. - Commenta una proposta di merge -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/comments- Aggiungi un commento Markdown fino a 4.096 caratteri. - Unisci una proposta di merge -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/merge- Unisci il branch di origine e controlla facoltativamente la risoluzione forzata dei conflitti e l’archiviazione del branch di origine. - Elenca deployment degli agenti -
GET /v1/convai/agents/{agent_id}/deployments- Elenca le suddivisioni del traffico correnti e cronologiche dei branch con paginazione basata sulle pagine. - Annulla un’invocazione di test -
POST /v1/convai/test-invocations/{test_invocation_id}/cancel- Annulla un’invocazione di test in esecuzione.
Speech Engine
- Duplica uno Speech Engine -
POST /v1/speech-engine/{speech_engine_id}/duplicate- Duplica uno Speech Engine e assegna facoltativamente alla copia un nuovoname.
Endpoint aggiornati
ElevenAgents
- Crea agente, Ottieni agente e Aggiorna agente
- Aggiunti
gpt-6.1-soleclaude-sonnet-5-5all’enumLLM. - Aggiunti
eleven_v4eeleven_v4_turboalle opzioni del modello TTS conversazionale. Il valore predefinito è passato daeleven_flash_v2aeleven_v4_turbo. - I trasferimenti degli agenti e i nodi degli agenti workflow autonomi aggiungono
preserve_voice_settingsfacoltativo (booleano, valore predefinitofalse) per mantenere la voce di base, il modello TTS e le impostazioni vocali dopo un trasferimento. - Le configurazioni dello strumento per saltare il turno aggiungono
wait_timeout_secsfacoltativo (numero, valore predefinito-1). Il valore-1mantiene l’agente in silenzio finché il chiamante non parla. - Le configurazioni webhook post-chiamata aggiungono
exclude_transcriptfacoltativo (booleano, valore predefinitofalse) per omettere le trascrizioni turno per turno dai webhook di trascrizione JSON. - Le configurazioni di redazione della cronologia delle conversazioni aggiungono
excluded_data_collection_idsfacoltativo (array di stringhe, massimo 50) per mantenere i valori estratti selezionati mentre vengono oscurate le relative motivazioni. response_timeout_secsdello strumento client ora accetta-1per attendere indefinitamente quandoexpects_responseè abilitato.
- Aggiunti
- Elenca ticket
- Aggiunto
prioritiesfacoltativo (array) con valorilow,medium,higheurgent. - Aggiunto
sort_bycon valoricreated_atepriority; il valore predefinito ècreated_at. - Le risposte dei ticket ora richiedono
title,prioritynullable e un arraypriority_changes. Le richieste di creazione e aggiornamento dei ticket possono impostareprioritye lo stato del ticket aggiungecancelled.
- Aggiunto
- Elenca strumenti - Aggiunto
used_by_agent_idfacoltativo e nullable (stringa) per restituire gli strumenti a cui fa riferimento il branch principale di un agente. - Esporta risultati delle chiamate batch - Aggiunto
limitfacoltativo e nullable (intero, minimo1) per esportare solo i primi destinatari come anteprima di colonna. - Elenca invocazioni di test e Ottieni invocazione di test
- I riepiloghi delle invocazioni di test aggiungono
cancelled_countobbligatorio (intero) ecancelledfacoltativo (booleano, valore predefinitofalse). - Lo stato dell’esecuzione di test aggiunge
cancelled.
- I riepiloghi delle invocazioni di test aggiungono
- Ottieni dettagli della conversazione - Le voci della trascrizione aggiungono
platform_eventfacoltativo e nullable con valoriuser_turn_timeouteskip_turn_wait_elapsed. - Ottieni metadati della versione dell’agente - Aggiunto
merged_authorsfacoltativo e nullable, un array che descrive le persone che hanno pubblicato modifiche unite nel branch principale. - Ottieni job di crawling - Rimosso il campo di risposta deprecato
max_depth.
Eleven v4 e Eleven v4 Turbo
Eleven v4 e Eleven v4 Turbo sono ora disponibili. Eleven v4 offre un parlato di qualità superiore e più espressivo, oltre a una clonazione vocale migliorata in oltre 90 lingue. Eleven v4 Turbo offre la stessa famiglia di modelli per applicazioni in tempo reale, con una latenza di inferenza mediana di circa 100 ms.
Usa eleven_v4 tramite l’API Text to Dialogue per la creazione di contenuti e audio di lunga durata. Usa eleven_v4_turbo tramite il WebSocket Text to Dialogue per agenti e applicazioni interattive.
Speech to Text
- Modifica della trascrizione: la trascrizione batch e in tempo reale ora accettano un’istruzione di modifica in linguaggio naturale fino a 2.000 caratteri. Le risposte batch restituiscono il risultato in
edited_transcript, mentre le sessioni in tempo reale emettono un eventoedited_transcript. Consulta le guide batch e in tempo reale per incompatibilità, gestione delle risposte e prezzi.
ElevenAgents
- Modelli degli agenti: aggiunti
gpt-6-sol,gpt-6-luna,glm-52,deepseek-v41-flash,claude-opus-5eclaude-opus-5-5alle opzioni LLM supportate per gli agenti. - Utilizzo dei test degli agenti: i riepiloghi delle invocazioni di test possono includere i crediti totali e il prezzo in USD. Le singole esecuzioni di test possono includere i crediti e un dettaglio degli addebiti.
Flows
- API dei template: aggiunti endpoint per elencare e recuperare i template Flows pubblicati, avviare esecuzioni di template e recuperare i risultati delle esecuzioni. Le esecuzioni possono usare una versione pubblicata e inviare il risultato finale a un webhook configurato.
Text to Dialogue
- Continuità della generazione: le richieste Text to Dialogue possono usare testo precedente o successivo e ID richiesta per mantenere la continuità tra generazioni.
- Modalità voce professionale: le richieste Text to Dialogue possono usare la versione Instant Voice Clone di una Professional Voice Clone per ridurre la latenza o migliorare l’espressività.
Rilasci SDK
SDK JavaScript
- v2.70.0 - Aggiunti tipi per la modifica delle trascrizioni Speech to Text batch e in tempo reale, il filtro
branchIde campi di costo per i riepiloghi delle invocazioni di test, l’individuazione automatica della knowledge base,usePvcAsIvcper Text to Dialogue e il modello di agentedeepseek-v41-flash.
SDK Python
- v2.70.0 - Aggiunti tipi per la modifica delle trascrizioni Speech to Text batch e in tempo reale, il filtro
branch_ide campi di costo per i riepiloghi delle invocazioni di test, l’individuazione automatica della knowledge base,use_pvc_as_ivcper Text to Dialogue e il modello di agentedeepseek-v41-flash.
CLI ElevenLabs
- v1.4.0 - Corrette le richieste con una chiave API esplicita, che ora non inviano più anche le credenziali OAuth archiviate, causando errori di autenticazione. Aggiunte descrizioni per il gruppo di comandi di feedback e istruzioni per segnalare funzionalità mancanti alle competenze degli agenti generate. Rigenerato il client API con gli endpoint dei template Flows e i tipi di schema correnti.
API
Visualizza le modifiche all'API
Nuovi endpoint
Flows
- Elenca template -
GET /v1/flows/templates- Elenca i template pubblicati e le relative versioni eseguibili. - Ottieni template -
GET /v1/flows/templates/{template_id}- Recupera un template e le relative versioni eseguibili. - Crea esecuzione di un template -
POST /v1/flows/templates/{template_id}/runs- Avvia l’esecuzione di un template con valori di input, una versione facoltativa e un webhook facoltativo. - Elenca esecuzioni di template -
GET /v1/flows/templates/{template_id}/runs- Elenca le esecuzioni di template con paginazione tramite cursore e filtro di versione facoltativo. - Ottieni esecuzione di un template -
GET /v1/flows/templates/{template_id}/runs/{run_id}- Recupera l’esecuzione di un template e lo stato del relativo output.
Endpoint aggiornati
Speech to Text
- Converti parlato in testo -
POST /v1/speech-to-text- Aggiunto
transcript_editfacoltativo e nullable (stringa), che accetta un’istruzione di modifica in linguaggio naturale fino a 2.000 caratteri. - Le risposte aggiungono
edited_transcriptfacoltativo e nullable. Una modifica riuscita contiene i campi obbligatorikind: "transcript"etext. Una modifica non riuscita contiene i campi obbligatorikind: "error",error_type: "edit_failed"emessage.
- Aggiunto
- Speech to Text in tempo reale accetta
transcript_edit(stringa) ed emette eventiedited_transcriptcon i campi obbligatoritexteedited_text.
ElevenAgents
- Crea agente, Ottieni agente e Aggiorna agente
- Aggiunti
gpt-6-sol,gpt-6-luna,glm-52,deepseek-v41-flash,claude-opus-5eclaude-opus-5-5all’enumLLM. - I monitor di avviso aggiungono
enabledfacoltativo e nullable (booleano) per controllare se un monitor può inviare notifiche.
- Aggiunti
- Elenca conversazioni e Ricerca testuale
data_collection_paramsedynamic_variable_paramsaggiungono gli operatorineqein. I valori diinusano un delimitatore pipe.evaluation_paramsaccettasuccess,failureounknowncome valore del risultato.
- Ricerca intelligente -
GET /v1/convai/conversations/messages/smart-search- Aggiunto
branch_idfacoltativo e nullable (stringa).
- Aggiunto
- Elenca invocazioni di test -
GET /v1/convai/test-invocations- Aggiunto
branch_idfacoltativo e nullable (stringa). - I riepiloghi delle invocazioni di test aggiungono
credits_usedfacoltativo e nullable (intero) etotal_price(numero).
- Aggiunto
- Ottieni invocazione di test -
GET /v1/convai/test-invocations/{test_invocation_id}- Le singole esecuzioni di test aggiungono
credits_usedfacoltativo e nullable (intero) echarging(ConversationChargingCommonModel).
- Le singole esecuzioni di test aggiungono
- Simula conversazione e Simula stream di conversazione
- Modificato il valore predefinito facoltativo di
new_turns_limitda10,000a100e impostato il valore massimo a100.
- Modificato il valore predefinito facoltativo di
- Crea job di crawling e Ottieni job di crawling
- Aggiunto
auto_discoverfacoltativo (booleano, valore predefinitofalse) per seguire i link e aggiungere le pagine appena individuate durante la sincronizzazione automatica. Richiedeenable_auto_sync: true.
- Aggiunto
- Aggiorna documento della knowledge base -
POST /v1/convai/knowledge-base/{documentation_id}/refreshAutoSyncInfoaggiungeauto_discoverfacoltativo (booleano, valore predefinitofalse) per indicare se gli aggiornamenti eseguono il crawling e aggiungono le pagine appena individuate.
- Elenca strumenti del server MCP -
GET /v1/convai/mcp-servers/{mcp_server_id}/tools- Le risposte aggiungono
tool_approval_statusesfacoltativo (array). Ogni elemento contienetool_idobbligatorio (stringa) estate(up_to_date,needs_reviewonot_approved), con campi facoltativi relativi alla policy di approvazione e alla definizione approvata.
- Le risposte aggiungono
Text to Dialogue
- Converti testo in dialogo, Trasmetti testo in dialogo, Converti con timestamp e Trasmetti con timestamp
- Aggiunto
use_pvc_as_ivcfacoltativo (booleano, valore predefinitofalse) per usare la versione Instant Voice Clone di una Professional Voice Clone. - Aggiunti
previous_textefuture_textfacoltativi e nullable (stringhe, massimo 100 caratteri) eprevious_request_idsenext_request_ids(array di stringhe, massimo 3 ID) per la continuità della generazione. - L’oggetto
settingsfacoltativo aggiungesimilaritynullable (numero, 0–1, valore predefinito0.75).
- Aggiunto
Text to Speech
- Converti testo in parlato, Trasmetti testo in parlato, Converti con timestamp e Trasmetti con timestamp
- Il campo
use_pvc_as_ivcesistente non è più deprecato.
- Il campo
Flows
- Crea generazione di immagini, Crea generazione di video e Crea esecuzione di un template
- Le destinazioni webhook ora richiedono un discriminatore
typeesplicito (alloids). I valori predefiniti precedenti sono stati rimossi.
- Le destinazioni webhook ora richiedono un discriminatore
Voice Design
- Crea voce dall’anteprima, Crea anteprime vocali, Progetta una voce e Remixa una voce
- Aggiunta una risposta
409quando è già in corso una generazione per l’anteprima. Riprova la richiesta dopo aver ricevuto questa risposta.
- Aggiunta una risposta
Workspace
- Crea chiave API dell’account di servizio -
POST /v1/service-accounts/{service_account_user_id}/api-keys- Aggiunti
tts_concurrency_limit,music_concurrency_limitedubbing_concurrency_limitfacoltativi e nullable (interi) per le chiavi API degli account di servizio Enterprise.
- Aggiunti
- Aggiorna chiave API dell’account di servizio -
PATCH /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}- Aggiunti
tts_concurrency_limit,music_concurrency_limitedubbing_concurrency_limitfacoltativi. Ogni campo accetta un intero,clear,no_updateonulle il valore predefinito èno_update.
- Aggiunti
Modelli
- Elenca modelli -
GET /v1/models- Deprecati i campi obbligatori
max_characters_request_free_useremax_characters_request_subscribed_user. Questi campi non vengono applicati; usa invecemaximum_text_length_per_request.
- Deprecati i campi obbligatori
Immagini e video
- Sora 2 e Sora 2 Pro ritirati: OpenAI interromperà la Sora API il 24 settembre 2026. Entrambi i modelli sono stati rimossi dal selettore dei modelli Immagini e Video e smetteranno di generare in quella data. Le generazioni esistenti restano disponibili nella tua cronologia. I Flows e i template che usano un nodo Sora devono passare a un altro modello video, come Gemini Omni 1.1 Flash, prima di poter essere eseguiti nuovamente.
- Seedance 1.5 Pro deprecato: ByteDance ritirerà Seedance 1.5 Pro l’11 novembre 2026. Il modello non è più disponibile per nuove generazioni e smetterà di funzionare in quella data. Usa invece un modello Seedance 2.0.
ElevenAgents
- Chiamate parallele degli strumenti: La configurazione del prompt dell’agente ora include
enable_parallel_tool_calls(booleano, predefinitotrue). Se abilitato, i modelli supportati possono eseguire più strumenti in un unico turno. - Modelli degli agenti: Aggiunto
gpt-6-astraalle opzioni LLM dell’agente. - Avvisi: Gli avvisi degli agenti ora supportano i canali Slack insieme ai notificatori PagerDuty e webhook.
- Ricerca dei numeri di telefono: Aggiunto un endpoint dei numeri di telefono con paginazione basata su cursore e filtri per provider, supporto in uscita, agente e ramo assegnati, etichetta e numero di telefono.
Immagini e video
- Modelli GPT Image 2.5: La generazione di immagini ora supporta
gpt-image-2.5-flareegpt-image-2.5-sunburst. Entrambi i modelli accettano fino a 10 immagini di riferimento, livelli di qualità fino amax, 14 rapporti d’aspetto fissi piùautoe output 1K, 2K o 4K.
Speech Engine
- Timeout a cascata: Le richieste di creazione e aggiornamento di Speech Engine ora accettano
cascade_timeout_seconds(numero, 2–15, predefinito4) per controllare quanto tempo ElevenLabs attende un motore vocale upstream prima di riprovare.
Text to Speech
- Confini di turno multi-contesto: Il marcatore
is_final_audio_for_turnora viene emesso dopo ogni byte nel buffer per quel turno, inclusi gli output MP3 e Opus. I client possono usare il marcatore come confine esatto del turno senza passare a PCM.
Rilasci SDK
SDK JavaScript
- v2.69.0 - Aggiunto
transcriptEdital wrapper Speech to Text in tempo reale, con testo modificato fornito tramite eventiedited_transcript. Corretta la verifica JWT di Speech Engine per le chiavi API con suffissi di residenza dei dati. AggiuntiphoneNumbers.listV2e metodi per i template Flows per elencare e ottenere template, nonché elencare, creare e ottenere esecuzioni. Rigenerati client e tipi per GPT Image 2.5, avvisi degli agenti su Slack, chiamate parallele degli strumenti,gpt-6-astra, limiti di concorrenza delle chiavi API degli account di servizio, conservazione zero per Music, filtri delle conversazioni e stati di approvazione degli strumenti MCP.
SDK Python
- v2.69.0 - Aggiunto
transcript_edital wrapper Speech to Text in tempo reale, con testo modificato fornito tramite eventiedited_transcript. Corretta la verifica JWT di Speech Engine per le chiavi API con suffissi di residenza dei dati e fatto in modo cheplaygeneri un errore quandoffplaynon riesce. Aggiuntiphone_numbers.list_v2e metodi per i template Flows per elencare e ottenere template, nonché elencare, creare e ottenere esecuzioni. Rigenerati client e tipi per GPT Image 2.5, avvisi degli agenti su Slack, chiamate parallele degli strumenti,gpt-6-astra, limiti di concorrenza delle chiavi API degli account di servizio, conservazione zero per Music, filtri delle conversazioni e stati di approvazione degli strumenti MCP.
CLI ElevenLabs
- v1.3.2 - Aggiunti metadati facoltativi
--intentper raccogliere feedback sull’uso della CLI. Aggiuntoelevenlabs feedback missing-capabilityper segnalare workflow non supportati dalla CLI.
API
Visualizza le modifiche API
Nuovi endpoint
ElevenAgents
- Elenca pagina dei numeri di telefono -
GET /v1/convai/v2/phone-numbers- Aggiunti i parametri di paginazione
page_sizefacoltativo (intero, 1–1.000, predefinito100) ecursor(stringa nullable). - Aggiunti i filtri facoltativi
search,label,phone_number,provider,supports_outbound,agent_id,branch_id,sort_byesort_direction.sort_byaccettalabelophone_number;sort_directionè predefinito suasc. - La risposta contiene
phone_numbersobbligatorio (array),next_cursorfacoltativo e nullable (stringa) ehas_more(booleano, predefinitofalse).
- Aggiunti i parametri di paginazione
Endpoint aggiornati
ElevenAgents
- Crea agente, Ottieni agente e Aggiorna agente
- La configurazione del prompt aggiunge
enable_parallel_tool_calls(booleano, predefinitotrue). Gli override del workflow accettano un booleano nullable. - L’enum
LLMaggiungegpt-6-astra, inclusi gli override per l’avvio della conversazione. - I notificatori dell’integrazione di avvisi ora usano
integration_typeper selezionarepagerdutyoslack. I notificatori Slack richiedonoconnection_idechannel_id(stringhe);channel_idaccetta da 1 a 64 caratteri.
- La configurazione del prompt aggiunge
- Elenca conversazioni e Risolvi riferimento conversazione
data_collection_paramsnon accetta più l’operatoremissing. Usa un valore vuoto per trovare le conversazioni in cui il campo non è stato raccolto.- Un valore vuoto in
dynamic_variable_paramstrova le conversazioni in cui la variabile non è stata impostata.
- Crea Speech Engine, Ottieni Speech Engine e Aggiorna Speech Engine
- Aggiunto
cascade_timeout_seconds(numero, 2–15). Le richieste di creazione sono predefinite su4, quelle di aggiornamento accettano un valore nullable e le risposte richiedono il campo.
- Aggiunto
Immagini e video
- Crea generazione di immagini -
POST /v1/flows/image- Aggiunte varianti della richiesta per
gpt-image-2.5-flareegpt-image-2.5-sunburst. - Entrambe le varianti richiedono
promptemodel_id, accettano fino a 10imagese aggiungonoresolution(1K,2Ko4K, predefinito1K). qualityaccettalow,medium,high,xhighomaxed è predefinito suhigh.aspect_ratioaccettaautoe 14 rapporti fissi ed è predefinito su16:9.
- Aggiunte varianti della richiesta per
Doppiaggio
- Crea progetto di doppiaggio -
POST /v1/dubbing/projectkeytermsmultipart accetta campi ripetuti o un singolo array JSON.webhook_idsmultipart accetta campi ripetuti, un singolo array JSON o una stringa separata da virgole.
- Ottieni risorsa del workspace, Condividi risorsa del workspace e Annulla condivisione risorsa del workspace
WorkspaceResourceTypeaggiungedubbing_project.
Knowledge base
- Crea job di crawling -
POST /v1/convai/knowledge-base/crawl- Deprecato
max_depth(intero, predefinito3). Il campo ora non ha effetto e non presenta più vincoli minimi o massimi. - I metadati del job di crawling non richiedono più
max_depth.
- Deprecato
Utente
- Ottieni utente e Ottieni abbonamento
- Gli enum delle valute aggiungono
gbp.
- Gli enum delle valute aggiungono
Modifiche allo schema
Text to Speech
- I messaggi WebSocket
audioefinalmulti-contesto ora definisconois_final_audio_for_turncome emesso dopo che tutti i byte nel buffer del turno sono stati forniti.
ElevenAgents
- Accodamento delle chiamate e audio di attesa: Aggiunto l’accodamento delle chiamate per gli agenti al limite di concorrenza. I chiamanti in coda sentono l’audio di attesa e ricevono eventi
queue_statusfinché non vengono ammessi o scade il tempo di attesa. Nuovi metodi API consentono di caricare o eliminare audio di attesa personalizzato. - Metadati delle versioni di test: I risultati dei test degli agenti ora identificano la versione dell’agente su cui sono stati eseguiti e se includevano modifiche in bozza. I riepiloghi delle invocation indicano inoltre quando i reinvii parziali sono stati eseguiti su versioni diverse.
- Metadati di modelli e account: La configurazione LLM degli agenti ora accetta
gemini-3.8-flash. Le risposte degli account WhatsApp identificano se l’account usa la Cloud API o il flusso di registrazione in coesistenza.
Musica
- Supporto API Music v2.5: Gli endpoint e gli SDK Music ora accettano
music_v2_5. I chunk di generazione dei piani di composizione supportano fino a 6.132 caratteri, con un massimo di 30 righe da 200 caratteri ciascuna.
Rilasci SDK
SDK JavaScript
- v2.68.0 - Aggiunti metodi per caricare ed eliminare l’audio di attesa degli agenti. Rigenerati i tipi per l’accodamento delle chiamate, i riferimenti alle procedure, la creazione di rami in bozza, i limiti delle query RAG, i metadati delle versioni di test,
gemini-3.8-flashemusic_v2_5.
SDK Python
- v2.68.0 - Aggiunti metodi sincroni e asincroni per caricare ed eliminare l’audio di attesa degli agenti. Rigenerati i tipi per l’accodamento delle chiamate, le procedure, la creazione di rami in bozza, i limiti delle query RAG, i metadati delle versioni di test,
gemini-3.8-flashemusic_v2_5. Il wrappercompose_detailedora accetta ogni ID di modello musicale generato e piani di composizione basati sia su prompt sia su chunk.
SDK iOS
- v3.3.1 - Riconcilia i messaggi degli agenti in base a
response_idanziché aevent_id, preservando più risposte attorno alle chiamate degli strumenti ed evitando che parti in streaming o correzioni vengano associate al messaggio sbagliato.
CLI ElevenLabs
- v1.3.0 - Aggiunti metadati facoltativi
--intentai comandi API generati. Aggiuntoelevenlabs feedback missing-capabilityper segnalare workflow non supportati dalla CLI.
Pacchetti
- @elevenlabs/convai-widget-core@0.18.2 e @elevenlabs/convai-widget-embed@0.18.2 - Corrette le risposte duplicate degli agenti dopo chiamate di strumenti e procedure. Le risposte testuali in streaming mantengono la formattazione Markdown e le conversazioni vocali non visualizzano più parti della chat in streaming non pronunciate. Il pacchetto embed limita inoltre gli eventi
user_activitya uno al secondo e rimuove il limite al termine di una sessione.
API
Visualizza le modifiche API
Nuovi endpoint
ElevenAgents
- Carica audio di attesa dell’agente -
POST /v1/convai/agents/{agent_id}/hold-audio- Accetta
hold_audio_fileobbligatorio (binario) come dati del form multipart. Il file deve essere MP3 o WAV, fino a 40 MB e 180 secondi. - Restituisce
agent_idobbligatorio (stringa) ehold_audio(AgentHoldAudioConfig). L’oggetto hold-audio richiedeaudio_path,audio_url,original_filename(stringhe),duration_secs(numero) esize_bytes(intero).
- Accetta
- Elimina audio di attesa dell’agente -
DELETE /v1/convai/agents/{agent_id}/hold-audio- Rimuove la clip personalizzata, così i chiamanti in coda sentono il tono di attesa predefinito.
- Restituisce
agent_idobbligatorio (stringa).
Endpoint aggiornati
ElevenAgents
- Crea agente, Ottieni agente e Aggiorna agente
- Aggiunto
platform_settings.queueing_config(AgentQueueingConfig) facoltativo conenabled(booleano, predefinitofalse) ewait_timeout_seconds(intero, 1–1.800, predefinito180). - Le risposte di configurazione della coda includono
hold_audio(AgentHoldAudioConfig) nullable di sola lettura. Le risposte dell’agente includono anchedefault_hold_audio_urlfacoltativo (stringa).
- Aggiunto
- Ottieni conversazione -
GET /v1/convai/conversations/{conversation_id}- I metadati aggiungono
queue_wait_secsfacoltativo e nullable (numero). Il tempo in coda è escluso dacall_duration_secse dal tempo fatturato.
- I metadati aggiungono
- Crea ramo dell’agente -
POST /v1/convai/agents/{agent_id}/branches- Aggiunto
include_draftfacoltativo (booleano, predefinitofalse). Quando ètrue, un ramo creato dalla punta del ramo include il set di procedure in bozza del chiamante.
- Aggiunto
- Elenca procedure e gli endpoint per creare, ottenere e gestire le bozze delle procedure
- Gli elementi dell’elenco aggiungono
referenced_tool_ids,referenced_kb_ids,referenced_procedure_idsereferenced_dynamic_variablesfacoltativi (array di stringhe). - Le risposte dell’agente e di anteprima del merge aggiungono
proceduresfacoltativo, una mappa con chiave ID della procedura.
- Gli elementi dell’elenco aggiungono
- Elenca invocation di test -
GET /v1/convai/test-invocations- Aggiunto
searchfacoltativo e nullable (stringa) per filtrare test e cartelle per nome.
- Aggiunto
- Esegui test sull’agente e Ottieni invocation di test
- Le risposte di invocation della suite di test e di esecuzione dei test unitari aggiungono
version_idfacoltativo e nullable (stringa) eran_against_draftfacoltativo (booleano, predefinitofalse). - I riepiloghi delle invocation aggiungono anche
runs_diverged_from_versionfacoltativo (booleano, predefinitofalse).
- Le risposte di invocation della suite di test e di esecuzione dei test unitari aggiungono
POST /v1/convai/agents/{agent_id}/knowledge-base/rag-query- Il body della richiesta aggiunge gli override specifici della query
max_documents_lengthfacoltativo e nullable (intero, 1–50.000) emax_retrieved_rag_chunks_count(intero, 1–20).
- Il body della richiesta aggiunge gli override specifici della query
- Ottieni account WhatsApp -
GET /v1/convai/whatsapp-accounts/{phone_number_id}- Aggiunto
account_typefacoltativo (WhatsAppAccountType, predefinitocloud_api). I valori sonocloud_apiecoexistence.
- Aggiunto
- Calcola l’utilizzo LLM previsto -
POST /v1/convai/agent/{agent_id}/llm-usage/calculateLLMUsageCalculatorLLMResponseModelaggiungeprice_per_messageobbligatorio (numero).
Musica
MusicModelIDaggiungemusic_v2_5perPOST /v1/music/video-to-music,POST /v1/music/plan, Componi musica,POST /v1/music/detailed,POST /v1/music/detailed/stream,POST /v1/music/stream,POST /v1/music/uploadePOST /v1/music/finetunes.GenerationChunk.textaumentamaxLengthda 6.000 a 6.132 caratteri perPOST /v1/music/plan,POST /v1/music,POST /v1/music/detailed,POST /v1/music/detailed/stream,POST /v1/music/streamePOST /v1/music/upload. I nomi delle sezioni possono contenere da 1 a 100 caratteri e i chunk possono contenere fino a 30 righe con 200 caratteri per riga.
Modifiche allo schema
ElevenAgents
- Gli eventi del server in tempo reale aggiungono
queue_status. Il relativoqueue_status_event.statusobbligatorio accettawaiting,admittedotimed_out;timed_outprecede il codice di chiusura WebSocket4300. L’audio di attesa continua ad arrivare come normali eventiaudio. - L’enum
LLMaggiungegemini-3.8-flash, inclusi gli override per l’avvio della conversazione. - Le union dei risultati degli strumenti di sistema delle conversazioni aggiungono
start_procedure_success,start_procedure_error,end_procedure_successeend_procedure_error. FeaturesUsageCommonModelaggiunge gli stati delle funzionalità facoltativifreeform_procedureestructured_procedure.
Scribe v2 Medical
Scribe v2 Medical è ora generalmente disponibile. È un modello di riconoscimento vocale batch specializzato in audio medico e clinico, fatturato alla stessa tariffa di Scribe v2.
Passa scribe_v2_medical come model_id in Crea trascrizione. I prompt con termini chiave, il rilevamento delle entità, la diarizzazione dei parlanti e la modalità non letterale funzionano come in Scribe v2.
ElevenAgents
- Ticket delle conversazioni per tutto il workspace: aggiunto Elenca ticket del workspace per recuperare i ticket di triage delle conversazioni dagli agenti accessibili. Filtra per stato o assegnatario e usa la paginazione con cursore per recuperare fino a 100 ticket per pagina.
- Filtri delle conversazioni per variabili dinamiche: Elenca conversazioni e Ricerca testuale nei messaggi delle conversazioni ora accettano filtri ripetibili
dynamic_variable_params. Usaname:op:valueconeq,gt,gte,ltolte; gli operatori di confronto richiedono valori numerici. - Rilevamento della segreteria telefonica Twilio: le configurazioni per telefonia in uscita e chiamate batch ora supportano
twilio_machine_detectionfacoltativo. Sceglienableper una valutazione tempestiva di persona o segreteria, oppuredetect_message_endper attendere la fine del messaggio di saluto della segreteria. I risultati arrivano tramite il nuovo evento webhookanswering_machine_detection. - Vincoli sui valori per la raccolta dati: le proprietà di raccolta dati ora possono usare
allowed_valuesper indicare una variabile dinamica contenente i valori consentiti. Il precedente campoallowed_values_dynamic_variableè deprecato. - Metadati dell’agente: le risposte di Elenca rami dell’agente ora indicano quando è stata creata una bozza e se precede il tip del ramo. I riepiloghi dell’agente e del motore vocale ora richiedono
voice_id. - URL di origine della knowledge base: i chunk delle query RAG dell’agente ora includono
source_urlobbligatorio e annullabile, contenente l’URL tracciato per i documenti URL. - Allegati nelle risposte dell’agente: gli eventi WebSocket
agent_responseora includonoattachmentsfacoltativo. Ogni allegato richiedeurlenamee può includeremime_type.
Workspace
- Limiti della piattaforma per le chiavi API: le risposte delle chiavi API degli account di servizio ora possono includere
platform_limitsEnterprise per crediti, Clonazioni Vocali Professionali e concorrenza per TTS, Doppiaggio e Musica.
Rilasci degli SDK
SDK JavaScript
- v2.67.0 - Aggiunto
dynamicVariableParamsalle richieste di elenco e ricerca testuale delle conversazioni. Rigenerati i tipi per il rilevamento della segreteria telefonica Twilio, i vincoli sui valori per la raccolta dati, i limiti della piattaforma per le chiavi API, i metadati delle bozze dei rami dell’agente e gli URL di origine della knowledge base.
SDK Python
- v2.67.0 - Aggiunto
dynamic_variable_paramsai metodi sincroni e asincroni di elenco e ricerca testuale delle conversazioni. Rigenerati i tipi per il rilevamento della segreteria telefonica Twilio, i vincoli sui valori per la raccolta dati, i limiti della piattaforma per le chiavi API, i metadati delle bozze dei rami dell’agente e gli URL di origine della knowledge base. Il client Text to Speech in tempo reale non passa più il sentinel interno di omissione alla connessione.
CLI ElevenLabs
- v1.2.0 - Aggiunto il comando
elevenlabs saye la relativa skill dell’agente, rigenerati i binding dei comandi API e resoeleven_v3il modello TTS predefinito.
Pacchetti
- @elevenlabs/client@1.25.0, @elevenlabs/react@1.15.2, @elevenlabs/react-native@1.2.27, @elevenlabs/convai-widget-core@0.18.1 e @elevenlabs/convai-widget-embed@0.18.1 - Riesportato
MessageAttachmentda@elevenlabs/clientaffinché i consumer possano importare direttamente il tipo. - @elevenlabs/client@1.24.0, @elevenlabs/types@0.23.0, @elevenlabs/react@1.15.1, @elevenlabs/react-native@1.2.26, @elevenlabs/convai-widget-core@0.18.0 e @elevenlabs/convai-widget-embed@0.18.0 - Inoltrati gli allegati dei file nelle risposte dell’agente a
onMessagee aggiunta l’impostazione di sessione facoltativawebRtc.singlePeerConnection. Il widget localizza inoltre i pulsanti di saluto e corregge le risposte della chat testuale perse o duplicate.
API
Visualizza modifiche API
Nuovi endpoint
ElevenAgents
- Elenca ticket del workspace -
GET /v1/convai/triage-tickets- Elenca i ticket di triage delle conversazioni per tutti gli agenti a cui il chiamante può accedere, ordinati prima per data di creazione più recente.
- Aggiunti i parametri query facoltativi
page_size(numero intero, 1–100, valore predefinito100),status(AgentConversationTicketStatus),assignee_user_id(stringa ounassigned) ecursor(stringa). - Restituisce
GetAgentConversationTicketsPageResponseModel.
Endpoint aggiornati
ElevenAgents
- Elenca conversazioni -
GET /v1/convai/conversations- Aggiunto
dynamic_variable_paramsfacoltativo e annullabile (array di stringhe ripetibile). Ogni valore usaname:op:value, doveopèeq,gt,gte,ltolte.
- Aggiunto
- Ricerca testuale nei messaggi delle conversazioni -
GET /v1/convai/conversations/messages/text-search- Aggiunto
dynamic_variable_paramsfacoltativo e annullabile (array di stringhe ripetibile) con la stessa sintassi.
- Aggiunto
- Chiamata Twilio in uscita, Chiamata in uscita tramite trunk SIP, Chiamata Exotel in uscita e Invia chiamate batch
telephony_call_configora usa schemi di input e output separati.- Aggiunto
twilio_machine_detectionfacoltativo e annullabile (TwilioMachineDetectionConfig). Il relativomodeaccettaenableodetect_message_ende il valore predefinito èenable. L’impostazione viene ignorata per i provider non Twilio e le chiamate in entrata.
- Importa numero di telefono -
POST /v1/convai/phone-numbers- Aggiunto
account_auth_tokenfacoltativo e annullabile (stringa) per le importazioni di chiavi API Twilio, al fine di convalidare le firme dei webhook in entrata.
- Aggiunto
Modifiche agli schemi
ElevenAgents
WebhookEventTypeaggiungeanswering_machine_detection.AgentBranchSummaryaggiungedraft_created_atfacoltativo e annullabile (numero intero) edraft_is_behind_tipfacoltativo (booleano, valore predefinitofalse).AgentKnowledgeBaseRagChunkResponseModelaggiungesource_urlobbligatorio e annullabile (stringa).AgentSummaryResponseModeleSpeechEngineSummaryResponseaggiungonovoice_idobbligatorio (stringa).AnalysisPropertyaggiungenamefacoltativo e annullabile (stringa) eallowed_values(AllowedValues). AncheLiteralJsonSchemaPropertyaggiungeallowed_values. Entrambi deprecanoallowed_values_dynamic_variable.DataCollectionResultCommonModelaggiungenamefacoltativo e annullabile (stringa).WorkspaceApiKeyResponseModelaggiungeplatform_limitsfacoltativo e annullabile (PlatformLimits).- Lo strumento MCP
Iconaggiungethemefacoltativo e annullabile (lightodark). SMBToolConfigaggiunge le varianti di parametrisend_custom_email,create_service_quote_requestecreate_product_quote_request.- Gli schemi dei parametri query dei webhook e la configurazione delle chiamate telefoniche ora usano modelli di input e output separati.
- Gli eventi WebSocket
agent_responseaggiungonoattachmentsfacoltativo (array). Ogni elemento richiedeurlename(stringhe) e accettamime_typefacoltativo (stringa).
ElevenCreative
ReferenceVideo.studio_clipora usaStudioClipLocatorinvece diStudioClipReference. I campi e il formato wire restano invariati.
ElevenAgents
- Input da tastierino telefonico: la configurazione delle conversazioni degli agenti ora supporta
dtmf_input_settingsfacoltativo per l’input DTMF. Configura il timeout delle cifre, usa#come terminatore e oscura le voci del tastierino nelle trascrizioni, nei log e nelle analisi. - Cronologia degli allegati della conversazione: le voci della trascrizione di Recupera conversazione ora includono
file_inputs, un array che contiene ID, nome, tipo MIME e URL di ogni file allegato. - Filtro per tag degli agenti: Elenca agenti ora accetta un parametro query
tagsfacoltativo. Ripeti il parametro per trovare gli agenti con uno qualsiasi dei tag forniti. - Contesto delle campagne batch: Recupera conversazione ora identifica le chiamate batch con metadati
campaignannullabili contenenti i campi obbligatoricampaign_idecampaign_lead_id.
Musica
- Dati visivi della forma d’onda: Genera musica dettagliata, Trasmetti musica con dettagli e Carica musica ora accettano
with_waveform_visualfacoltativo (booleano, valore predefinitofalse). Le risposte con l’opzione attivata restituiscono un array di numeri interiwaveform_visuala bassa risoluzione con quattro campioni al secondo.
Doppiaggio
- Comportamento della paginazione dei progetti: Elenca progetti di Doppiaggio e Elenca lingue di destinazione ora limitano
page_sizea 1–100. Il filtro per stato dei progetti includequeueded entrambi gli endpoint documentano l’uso dinext_cursorper recuperare la pagina successiva.
Rilasci degli SDK
SDK JavaScript
- v2.66.0 - Aggiunto
fileIdsasendMultimodalMessage, consentendo a un messaggio di includere più allegati di file.
SDK Python
- v2.66.0 - Aggiunto
file_idsasend_multimodal_message, consentendo a un messaggio di includere più allegati di file.
SDK Android
- v0.12.2 - Preservato il callback
onUnhandledClientToolCalldurante il collegamento degli eventi di sessione. Le chiamate non gestite agli strumenti client che richiedono una risposta ora ricevono la risposta di errore automatica invece di rimanere irrisolte.
CLI ElevenLabs
- v1.1.0 - Rigenerati i binding dei comandi API e aggiunta l’attribuzione delle richieste basata sul comando per i workflow di ElevenAgents. Questi comandi aggiungono
cmd/<command>alloUser-Agentdella CLI, consentendo di distinguere le richieste provenienti da workflow comeagents pusheagents create.
Pacchetti
- @elevenlabs/client@1.23.0, @elevenlabs/react@1.15.0, @elevenlabs/types@0.22.1, @elevenlabs/react-native@1.2.25, @elevenlabs/convai-widget-core@0.17.1 e @elevenlabs/convai-widget-embed@0.17.1 - Aggiunto
fileIdsasendMultimodalMessage. Il client invia entrambi i campifileefilesper compatibilità, e React espone l’API client aggiornata.
API
Visualizza modifiche API
Endpoint aggiornati
ElevenAgents
- Elenca agenti -
GET /v1/convai/agents- Aggiunto
tagsfacoltativo e annullabile (array di stringhe). Ripeti il parametro query per trovare qualsiasi tag fornito.
- Aggiunto
- Crea agente, Recupera agente e Aggiorna agente
- Aggiunto
conversation_config.conversation.dtmf_input_settingsfacoltativo e annullabile (DTMFInputConfig). Supportadtmf_input_timeout(numero, 0,5–10 secondi, valore predefinito2),hash_terminator(booleano, valore predefinitotrue) eredact_input(booleano, valore predefinitofalse). - Aggiunto
sip_refer_play_dialtonefacoltativo (booleano, valore predefinitotrue) alla configurazione del trasferimento del numero di telefono. Impostalo sufalseper mantenere silenziosa la tratta di chiamata originale mentre viene completato un trasferimento SIP REFER. - Gli strumenti di sistema per le procedure di avvio e fine ora accettano
ProcedureVersionRefoProcedureDraftRef. I riferimenti alle bozze richiedonoprocedure_id(stringa) e impostanoversion_idsunull.
- Aggiunto
- Recupera conversazione -
GET /v1/convai/conversations/{conversation_id}- Aggiunto
file_inputs(array diConversationHistoryTranscriptFileInputResponseModel) alle voci della trascrizione. Ogni elemento richiedefile_id,original_filename,mime_typeefile_url(stringhe). - Aggiunto
campaignfacoltativo e annullabile (BatchCallingCampaignInformation) ai metadati delle chiamate batch. L’oggetto richiedecampaign_idecampaign_lead_id(stringhe). - Aggiunto
dtmfaChatSourceMedium.
- Aggiunto
- I tipi di problemi nei ticket di triage delle conversazioni aggiungono
incorrect_information,documentation_gap,platform_bugewrong_action.
Musica
- Genera musica dettagliata (
POST /v1/music/detailed) e Trasmetti musica con dettagli (POST /v1/music/detailed/stream)- Aggiunto
with_waveform_visualfacoltativo (booleano, valore predefinitofalse). - Le risposte dettagliate aggiungono
waveform_visualannullabile (array di numeri interi), campionato quattro volte al secondo da-1000a1000.
- Aggiunto
- Carica musica -
POST /v1/music/upload- Aggiunti
with_waveform_visualfacoltativo (booleano, valore predefinitofalse) ewaveform_visualannullabile (array di numeri interi) nella risposta.
- Aggiunti
ElevenCreative
- Crea progetto Studio e Crea podcast
quality_presetora accettanulled è stato rimosso il valore predefinitostandarddello schema.
Doppiaggio
- Elenca progetti di Doppiaggio -
GET /v1/dubbing/projectpage_sizerimane un numero intero facoltativo con valore predefinito20, ma i valori ora sono limitati a 1–100 invece di essere rifiutati.- Il filtro
statusora documentaqueued,preparing,readyefailed. - Passa
next_cursordella risposta precedente incursor; omettilo per la prima pagina.
- Elenca lingue di destinazione -
GET /v1/dubbing/project/{project_id}/languagepage_sizerimane un numero intero facoltativo con valore predefinito20, ma i valori ora sono limitati a 1–100 invece di essere rifiutati.- Il filtro
statussupportaqueued,processing,completed,staleefailed. - Passa
next_cursordella risposta precedente incursor; omettilo per la prima pagina.
Modifiche agli schemi
Workspace
PendingSubscriptionSwitchResponseModel.next_tieraggiungegrant.