Eleven Realtime
Eleven Realtime is a new family of models for ElevenAgents voice agents, rolling out gradually across workspaces. Each one is a complete voice agent configuration. You pick one model, and ElevenLabs handles the LLM, Speech to Text and Text to Speech settings behind it. Your agent’s system prompt, voice, tools and knowledge base work the same as before.
There are two to choose from. Eleven Realtime v1 Mini (eleven_realtime_v1_mini) is the default, and it’s the fastest and cheapest. Eleven Realtime v1 Max (eleven_realtime_v1_max) reasons before it answers, so use it when your agent has complex instructions or multi-step tool calls.
If you’ve already built on OpenAI’s Realtime API, you don’t need to rewrite your client. The events and the WebSocket transport are the same, so you change the endpoint and the session configuration. Your backend calls Create realtime client secret to get a short-lived secret, and the browser uses it to connect directly.
Realtime Translation
Realtime Translation turns speech in one language into speech in another while the speaker is still talking. It’s a WebSocket API, available now for enterprise workspaces.
You open a connection with a target_language and a voice_id, then stream audio in. You get translated speech back in that voice. You don’t have to say which language the speaker is using, because it’s detected automatically, but you can set source_language if you know it. Along the way, the server also sends live transcripts of the original speech and the translated text, for example to show captions.
eagerness controls the tradeoff between speed and quality. high starts translating soonest, and low waits for more of the sentence. The translated voice uses Eleven v4 Turbo by default, and you can switch to eleven_v3 or eleven_flash_v2_5 with tts_model_id. For sensitive conversations, set enable_zrm=true to use Zero Retention Mode.
Video to Music
Video to Music writes a soundtrack for your video. The Video to music API is now available: you upload a video and get back music that fits it, without writing a music prompt from scratch. Use it to score product videos, ads and social clips.
You can send up to 10 video files (200 MB combined). They’re joined in order and scored as one video. To steer the result, add a text description and up to 10 style tags.
Three options are worth knowing. use_audio_as_reference takes the genre, BPM, instruments and mood from the video’s own audio. add_sfx adds sound effects that match the video. separate_tracks returns the music and the sound effects as separate files in a ZIP, so you can mix them yourself.
ElevenAgents
- Alerts: Alerts notify a workspace when agent error rates exceed a threshold or rise sharply above their recent baseline. Monitors cover conversation failures, tool failures, webhook errors, guardrail triggers, call initiation errors and evaluation success scores, and run with default thresholds without any setup. Agent-level thresholds and notifiers can be set through
platform_settings.alertingon Update agent. Notifications can be delivered as webhooks, to Slack or to PagerDuty. - Guardrails generally available: Guardrails are no longer in alpha.
- Workspace environments: Environments for environment variables can now be managed through the API with List environments, Create environment and Delete environment. A variable without a value for an environment falls back to its
productionvalue. Deleting an environment removes its values from all variables, andproductioncannot be deleted. - Answering machine detection actions: Twilio answering machine detection settings on Outbound call and Submit batch call accept
actions, a list of rules that pair anaction(hang_up) with theanswered_byverdicts that trigger it, such asmachine_startorfax. Verdicts without a rule leave the call running. - New LLMs: Agents can use
gemini-4-argon,claude-opus-4-6and the ElevenLabs-hostednemotron-35-super-vl-nvfp4. See Models. - Authored-only workflow reads: Get agent and Update agent accept
include_procedure_generated_workflow_elements. Set it tofalseto receive only the workflow nodes and edges you authored, excluding the ones compiled from structured procedures. Defaults totrue, so existing callers are unchanged. - Branch rebasing from any branch: Rebase branch and Preview rebase accept an optional
source_branch_idto pull changes from a branch other than main. - Delete agents used as subagents: Delete agent accepts
force. Whentrue, the agent is deleted even if other agents use it as a subagent, and it is removed from those agents and their branches. - Sort agents by last update: List agents accepts
sort_by=updated_at, and each agent summary includesupdated_at_unix_secs, the last time the main branch or agent-level settings changed. - Google Calendar event updates: The Google Calendar integration adds
google_calendar_update_eventandgoogle_calendar_delete_eventtools. Both are privileged tools that can change or cancel any event on the connected calendar.
Music and Sound Effects
- Zero Retention Mode: Music generation, composition plan, stem separation and video to music endpoints, plus Sound Effects, accept
enable_logging=falseto use Zero Retention Mode. Zero Retention Mode is available to enterprise customers. Music requests that setstore_for_inpainting=trueare rejected in this mode. - WAV output for sound effects: Sound Effects accepts
wav_8000,wav_16000,wav_22050,wav_24000,wav_32000,wav_44100andwav_48000output formats.
Speech Engine
- 40-minute conversations: Speech Engine supports conversations of up to 40 minutes. The default limit remains 10 minutes. Raise
conversation.max_duration_secondsto allow longer conversations. - Sort by last update: List Speech Engines accepts
sort_by=updated_at, and each summary includesupdated_at_unix_secs.
Dubbing
- Subtitles for dubbed languages: Dubbing project language outputs (
GET /v1/dubbing/project/{project_id}/language/{language_id}) includesubtitles, a signed URL to the translated lines as WebVTT subtitles timed to the source speech. The URL expires one hour after it is issued.
Voices
- Resubmittable voice reviews: Voice sharing
review_statusaddsdeclined_resubmittablefor declined voices that can be resubmitted for review.
Workspaces
- Disable service account API keys: Disable service account API key disables a service account API key without changing its other settings. It remains available after a workspace downgrades from a plan that includes service accounts.
- Group concurrency limits: List workspace groups and List service accounts return
group_concurrency_limit,group_dubbing_concurrency_limitandgroup_music_concurrency_limitfor each group, and group permissions addall_resources_access.
SDK releases
JavaScript SDK
- v2.74.0 - Added
client.conversationalAi.realtime.createClientSecretfor the Realtime API, with theRealtimeModeland OpenAI-compatible session configuration types, and anenvironmentsclient withlist,createanddelete. Also addsforceon agent deletion,sourceBranchIdon branch rebase and rebase preview,includeProcedureGeneratedWorkflowElementson agent reads,enableLoggingon Music and Sound Effects methods, WAV output formats for Sound Effects, service account API keydisable, and Twilio answering machine detectionactions. - v2.73.0 - Added
createAndWaithelpers for Flows image, video and Text to Speech generations and template runs (client.flows.templates.runs.createAndWait). They create the request and poll until it completes or fails, pacing requests with the server’sRetry-Afterheader. Afailedresult is returned rather than thrown, andwaitTimeoutInSecondsthrowsFlowsWaitTimeoutErrorif the work is not finished in time. The regenerated client adds the Video to musicadd_sfx,separate_tracksanduse_audio_as_referenceoptions.
Python SDK
- v2.74.1 -
music.compose_detailednow accepts and forwardsenable_logging, which the custom wrapper previously dropped, so Zero Retention Mode works with this method. - v2.74.0 - Added
client.conversational_ai.realtime.create_client_secretfor the Realtime API and anenvironmentsclient, with the same regenerated API changes as JavaScript SDK v2.74.0. - v2.73.0 - Added
create_and_waithelpers for Flows image, video and Text to Speech generations and template runs, for both sync and async clients, withwait_timeout_in_secondsandmin_poll_interval_in_secondsoptions and aFlowsWaitTimeoutErrorexported fromelevenlabs.flows_custom. Type checkers such as pyright now resolveclient.webhooks.construct_event,client.speech_to_text.realtime,client.text_to_speech.convert_realtimeand the custom Music methods. Includes the same regenerated API changes as the JavaScript SDK. - v2.73.1 - Fixed the test suite on Python 3.13 and later, and added Python 3.13 and 3.14 to CI.
ElevenLabs CLI
- v1.7.0 - Regenerated API commands, adding environments, realtime client secrets and service account API key disabling.
- v1.6.0 - Added
create-and-waitcommands forflows image,flows video,flows text-to-speechandflows templates runs. Each command returns a finished result, with--wait-timeoutand--min-poll-intervaloptions. - v1.5.1, v1.5.2, v1.5.3 and v1.6.1 - Bug fixes for onboarding, including Windows support.
Packages
- @elevenlabs/client@1.28.0 - Added the experimental
persistentSessionoption for resumable text conversations over WebSocket, and theonConversationHistorycallback for the transcript the server replays on resume. WebSocket sessions now also emitonConversationMetadata. - @elevenlabs/react@1.18.0 - Forwards the experimental
onConversationHistorycallback to@elevenlabs/client. - @elevenlabs/types@0.25.0 - Added the
conversation_historyserver event and thepersistent_session_tokenfield onconversation_initiation_metadata. - @elevenlabs/react-native@1.2.30 - Updated to
@elevenlabs/client@1.28.0and@elevenlabs/react@1.18.0. - @elevenlabs/convai-widget-core@0.20.0 and @elevenlabs/convai-widget-embed@0.20.0 - Added the
persistent-sessionattribute. Text conversations survive a dropped connection or a page reload: the widget keeps the transcript, reopens the chat, renders the history replayed by the server and resumes the conversation. End chat discards the stored conversation. Workspaces without persistent sessions fall back to a standard conversation. - @elevenlabs/convai-widget-core@0.19.1 and @elevenlabs/convai-widget-embed@0.19.1 - First message quick replies are shown below the first message in voice calls.
API
View API changes
New endpoints
ElevenAgents
-
Create realtime client secret -
POST /v1/convai/realtime/client_secrets- Create an ephemeral client secret for browser-based Realtime API sessions. Accepts an optionalsession(OpenAI-compatible session configuration withmodelofeleven_realtime_v1_mini(default) oreleven_realtime_v1_max,instructions,audio,tools,turn_detectionandmax_duration_secondsfrom 60 to 7,200, default 600) and optionalexpires_afterwith requiredseconds(integer). Returnsvalue(string),expires_at(integer) and the echoedsession. -
List environments -
GET /v1/convai/environments- List the workspace environments, includingproduction. Each environment hasname, nullableupdated_at_unix_secsand nullablecreated_by_user_id. -
Create environment -
POST /v1/convai/environments- Create an environment with a required, uniquename(string). Returns409if the name is taken. -
Delete environment -
DELETE /v1/convai/environments/{environment}- Delete an environment and remove its values from all environment variables. Returns204.
Workspaces
- Disable service account API key -
POST /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}/disable- Disable a service account API key without changing its other settings.
Updated endpoints
ElevenAgents
- Get agent, Update agent, Preview rebase and Preview merge
- Added optional
include_procedure_generated_workflow_elements(boolean, defaulttrue). Whenfalse, the returned workflow contains only authored nodes and edges, without those generated from structured procedures.
- Added optional
- Create agent, Get agent and Update agent
- The
llmenum addsgemini-4-argon,claude-opus-4-6andnemotron-35-super-vl-nvfp4. - TTS configuration
effectsremoves the deprecatedseedfield.
- The
- Delete agent - Added optional
force(boolean, defaultfalse). - List agents -
sort_byaddsupdated_at. Agent summaries add requiredupdated_at_unix_secs(integer). - Rebase branch and Preview rebase - Added optional
source_branch_id(string). Defaults to the agent’s main branch. - Outbound call, Submit batch call and Get batch call
- Twilio machine detection configuration adds
actions, an array of rules with requiredaction(hang_up) and requiredanswered_by(array ofhuman,fax,unknown,machine_start,machine_end_beep,machine_end_silenceormachine_end_other). Each action can appear in at most one rule.
- Twilio machine detection configuration adds
- Get conversation details
- Transcript tool calls add nullable
tool_id(string). It is not set for tools without an ID, such as system tools. - Turn metrics add nullable
voice_id(string). - Tool results add nullable
to_agentandto_node(string). - WhatsApp conversation info adds nullable
recipientwith nullablephoneandbsuid(string), and nullablecall_permission_requestwith requiredstate(blocked,sent,acceptedordeclined) and nullablerequested_at_unix(integer). - The platform charge category enum adds
v3_addon,v4_addonandrag_addon.
- Transcript tool calls add nullable
- Get ticket, List tickets and List workspace tickets
- Ticket responses add required
status_changes, an array of objects withstatus, nullablechanged_by_user_id(string) andchanged_at_unix_secs(integer).
- Ticket responses add required
Text to Speech and Text to Dialogue
- Create speech, Stream speech, Create dialogue and Stream dialogue, including their timestamp variants -
use_pvc_as_ivcis now nullable and no longer declares a default offalse.
Music
- Compose music, Compose detailed, Stream music, Compose detailed stream, Separate stems, Video to music and
POST /v1/music/plan- Added optional
enable_loggingquery parameter (boolean, defaulttrue). Set it tofalsefor Zero Retention Mode.
- Added optional
- Video to music - Added optional
add_sfx,separate_tracksanduse_audio_as_reference(boolean, defaultfalse).
Sound Effects
- Create sound effect
- Added optional
enable_loggingquery parameter (boolean, defaulttrue). output_formataddswav_8000,wav_16000,wav_22050,wav_24000,wav_32000,wav_44100andwav_48000.
- Added optional
Speech Engine
- List Speech Engines -
sort_byaddsupdated_at. Summaries add requiredupdated_at_unix_secs(integer).
Speech to Text
- Create transcript and Get transcript - Edited transcripts add required, read-only
edited_text(string), matchingtextand theedited_textfield of the realtimeedited_transcriptevent.
Dubbing
GET /v1/dubbing/project/{project_id}/languageandGET /v1/dubbing/project/{project_id}/language/{language_id}- Language outputs add nullablesubtitles(string, signed URL).
Voices
- Get voice, List voices and Get voices - Voice sharing
review_statusaddsdeclined_resubmittable.
Workspaces
- List workspace groups and List service accounts
- Groups add nullable
group_concurrency_limit,group_dubbing_concurrency_limitandgroup_music_concurrency_limit(integer orunlimited). - Group permissions add
all_resources_access.
- Groups add nullable
ElevenAgents
- Merge and search triage tickets: Merge tickets folds up to 50 open tickets from the same agent into one target ticket. Merged tickets keep the status
mergedand reference the target throughmerged_into_ticket_id. List tickets and List workspace tickets add a case-insensitivesearchparameter that matches ticket titles, descriptions, comments and turn comments, and each result includes asearch_matchexcerpt showing where the query matched. - Workflow End node outcomes: Workflow End nodes accept an
outcomeofsuccess(default) orfailure, so a workflow can record whether a conversation ended successfully. The conversation error type addsworkflow_end_failure. - Call queueing enabled for new agents: New agents are created with call queueing enabled unless
platform_settings.queueing_config.enabledis set explicitly. Existing agents keep their current setting. - Post-call audio webhook retries: When Enable retries is on,
post_call_audiowebhooks are retried on the same schedule as transcription webhooks. Audio payloads over 50 MiB are not retried, and queued audio retries are capped at 400 MiB per webhook. - Strict tool overrides: The conversation override
tool_ids_strictmakes an overriddentool_idslist the complete set of tools available in the conversation, including tools on workflow nodes. It is ignored when set on the agent itself. - Widget end confirmation: The widget can ask users to confirm before ending a chat or call. Enable it with
end_confirmation_enabledin the widget configuration or theend-confirmationattribute.
Text to Speech
- Audio effects: Text to Speech and Text to Dialogue requests accept an optional
audio_effectsobject. It applies a filter preset, perceived distance, a reverb environment, a looped background noise bed and stereo panning to the generated audio. List valid preset, environment and background noise IDs withGET /v1/audio-effects/catalog. Reverb and non-zero panning produce stereo audio and are rejected forulaw_*,alaw_*andpcm_*output formats. Effects do not change the cost of a request.
Speech to Text
- Turn prediction commit strategy: The realtime Speech to Text WebSocket adds
turn_predictionas acommit_strategyvalue. In addition to silence-based segmentation, it commits a segment as soon as the model predicts the speaker has finished their turn. It is the default for models that predict turns, and partial transcripts from those models includeturn_probability. See transcripts and commit strategies.
Voices
- Voice collections API: Voice collections can now be managed through the API. Create, list, update and delete collections, and add or remove voices. See List voice collections.
Workspaces
- Basic seat fallback: Update member accepts
allow_downgrade_to_basic_seat. When unlocking a user whose original seat type has no seats available, the user is moved to a basic seat instead of the request failing. - Workspace ID on user: Get user returns the
workspace_idof the workspace the API key belongs to.
SDK releases
JavaScript SDK
- v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept
audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds theturn_predictioncommit strategy.
Python SDK
- v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept
audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds theturn_predictioncommit strategy.play()andsave()now accept any iterable of audio chunks, such as a list or tuple.RealtimeEvents.CLOSEhandlers receive a dictionary with the WebSocket closecodeandreason; handlers without parameters continue to work.
ElevenLabs CLI
- v1.5.0 - Regenerated API commands, adding voice collections, the audio effects catalog, triage ticket merging and agent merge proposals.
Packages
- @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0 - Added a
previousTextoption toScribe.connect()anduseScribe()in microphone mode. The text is sent with the first audio chunk to give the model context, such as existing document text, for casing, punctuation and sentence continuation.MediaDeviceOutputnow receiveslibsampleratePath, so output resampling uses the same custom libsamplerate bundle path asMediaDeviceInput. - @elevenlabs/react-native@1.2.29 - Updated to
@elevenlabs/client@1.27.0and@elevenlabs/react@1.17.0. - @elevenlabs/convai-widget-core@0.19.0 and @elevenlabs/convai-widget-embed@0.19.0 - Added an optional confirmation dialog before ending a chat or call, enabled with the
end-confirmationattribute orend_confirmation_enabledconfig, with customizable text. Added carousel rich content with scrollable item cards that can include an image, subtitle, description and actions. Carousels remain in the transcript after a reply, without their actions. Rich content is now shown during voice calls when the transcript is visible.
API
View API changes
New endpoints
ElevenAgents
- Merge tickets -
POST /v1/convai/triage-tickets/{agentqa_ticket_id}/merge- Merge open tickets into the target ticket. Requiressource_ticket_ids(string array, 1–50 items) and returns the target ticket.
Voices
- List voice collections -
GET /v1/voices/collections- List the voice collections the caller can access, sorted by title. - Create voice collection -
POST /v1/voices/collections- Create a collection with requiredtitleandicon(string, maximum 1,000 characters each). - Get voice collection -
GET /v1/voices/collections/{collection_id}- Retrieve a collection with itstitle,iconand the caller’spermission_on_resource(admin,editor,commenterorviewer). - Update voice collection -
PATCH /v1/voices/collections/{collection_id}- Update the optionaltitleoricon. - Delete voice collection -
DELETE /v1/voices/collections/{collection_id} - Add voice to collection -
POST /v1/voices/collections/{collection_id}/voice/{voice_id} - Remove voice from collection -
DELETE /v1/voices/collections/{collection_id}/voice/{voice_id}
Audio effects
GET /v1/audio-effects/catalog- List the availablefilter_presets,environmentsandbackground_noises. Each entry has an ID, anameand a nullabledescription.
Updated endpoints
ElevenAgents
- Create agent, Get agent and Update agent
- Workflow End nodes add
outcome(successorfailure, defaultsuccess). The field is required in responses. - Standalone workflow agent nodes and agent transfer configurations add nullable
branch_id(string) to target a specific branch of the destination agent. When unset, the transfer follows the target agent’s traffic deployment. Transfer tool results add aconfiguredbranch reason. - Prompt override configurations add
tool_ids_strict(boolean, defaultfalse). - TTS configuration
effectsaddpan(number, -1 to 1, default0). Theseedfield is deprecated and has no effect.
- Workflow End nodes add
- Get widget config - Added
end_confirmation_enabled(boolean, defaultfalse). - List tickets
- Added optional
search(string, maximum 200 characters) andmerged_into_ticket_id(string) query parameters. - Ticket responses add nullable
merged_into_ticket_idand nullablesearch_matchwithfield(title,description,commentorturn_comment),snippet,highlight_start,highlight_endand nullableturn_index.
- Added optional
- List workspace tickets - Added optional
agent_id,sources,priorities,sort_by(created_atorpriority, defaultcreated_at),owner_user_id,issue_type,label,merged_into_ticket_idandsearchquery parameters. - List tests - Added optional
created_by_user_id(string). Use@mefor the authenticated user. - List test invocations - Added optional
test_id(string),version_id(string),start_timeandend_time(integer, Unix seconds, inclusive) query parameters. - Update agent branch - Added optional
auto_rebase(boolean). Branch responses addauto_rebase(boolean, defaultfalse). - Get conversation details
- Twilio, SIP trunk and Exotel phone call metadata add nullable
call_resultwithanswered,voicemail,busy,no_answerandfailedvalues. - Batch call metadata adds nullable
cold_attempt(integer) and nullableconversation_type(initial,retry,callbackorredirect). - The conversation error type adds
workflow_end_failure.
- Twilio, SIP trunk and Exotel phone call metadata add nullable
- Knowledge base auto-sync
auto_discoveris deprecated and no longer has any effect.
Text to Speech
- Create speech, Stream speech, Create speech with timing and Stream speech with timing
- Added optional nullable
audio_effectswithfilter_preset_id(string),distance(number, 0–1, default0),environment_id(string),background_noise_id(string),send_level(number, 0–1, default1) andpan(number, -1 to 1, default0). - Unknown effect IDs return
404. Stereo effects return400forulaw_*,alaw_*andpcm_*output formats.
- Added optional nullable
Text to Dialogue
- Create dialogue, Stream dialogue, Create dialogue with timestamps and Stream dialogue with timestamps - Added optional nullable
audio_effects, matching the Text to Speech endpoints.
Speech to Text
- Realtime Speech to Text
- The
commit_strategyquery parameter addsturn_prediction, alongsidemanualandvad. partial_transcriptmessages add optionalturn_probability(number), sent only for models that predict turns.
- The
Music
POST /v1/music/video-to-music- Responses add asong-idheader with the ID of the generated song.
History
- List generated items - The history item
sourceenum addsVoicePreview.
Workspace and user
- Update member - Added optional
allow_downgrade_to_basic_seat(boolean, defaultfalse). - Get user - Added required
workspace_id(string). - Service account API key permissions add
voice_collections_readandvoice_collections_write.
ElevenAgents
- Structured procedures compile on save and publish: Update agent and Create agent draft now compile and validate structured procedures automatically. Integrations no longer need to call the compile endpoint or manually update the generated workflow. Invalid procedures return per-procedure errors as
400 procedure_validation_failed. Agents without structured procedures are unaffected. - Compile procedures endpoint is legacy: Compile procedures is marked legacy and should not be used by new integrations. It remains available for existing callers.
- Merge proposals: Merge proposals are available in alpha. Teams can open a proposal for an agent branch, review configuration changes and test results, leave comments or approval decisions, and merge approved changes into a target branch. See Merge proposals.
SDK releases
JavaScript SDK
- v2.71.0 - Added clients for agent merge proposals, deployment history, test invocation cancellation and Speech Engine duplication. The release also adds triage ticket priorities and sorting, batch call export limits,
gpt-6.1-sol,claude-sonnet-5-5, Eleven v4 agent voice models and current agent configuration types.
Python SDK
- v2.71.0 - Added clients for agent merge proposals, deployment history, test invocation cancellation and Speech Engine duplication. The release also adds triage ticket priorities and sorting, batch call export limits,
gpt-6.1-sol,claude-sonnet-5-5, Eleven v4 agent voice models and current agent configuration types.
Swift SDK
- v3.4.0 - Dynamic variables now preserve native JSON types when sent in conversation initiation data.
Packages
- @elevenlabs/client@1.26.0, @elevenlabs/react@1.16.0, @elevenlabs/react-native@1.2.28 and @elevenlabs/types@0.24.0 - Added realtime Speech to Text transcript editing through
transcriptEdit, theedited_transcriptevent and React’sonEditedTranscriptcallback. React now forwardsfilterBackgroundAudioto realtime sessions. The client also exportsMessagePayloadand uses stable response IDs to prevent duplicate agent replies. - @elevenlabs/convai-widget-core@0.18.3 and @elevenlabs/convai-widget-embed@0.18.3 - Added image previews and download links for agent message attachments, including attachment-only replies. Stable response IDs prevent duplicate replies, and text-only conversations now use a stop control with an End chat tooltip.
API
View API changes
New endpoints
ElevenAgents
- Create a merge proposal -
POST /v1/convai/agents/{agent_id}/merge-proposals- Create a proposal with requiredsource_branch_id,target_branch_idandtitlefields, plus an optional description, reviewer IDs and triage ticket ID. - List merge proposals -
GET /v1/convai/agents/{agent_id}/merge-proposals- List proposals with status, source branch, target branch and text filters, plus cursor pagination. - Get a merge proposal -
GET /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}- Retrieve a proposal and its review, comment and outcome details. - Update a merge proposal -
PATCH /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}- Update its title, description or requested reviewers, or close it without merging. - Review a merge proposal -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/reviews- Submit anapprovedorchanges_requesteddecision with an optional comment. - Comment on a merge proposal -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/comments- Add a Markdown comment of up to 4,096 characters. - Merge a merge proposal -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/merge- Merge the source branch and optionally control forced conflict resolution and source branch archival. - List agent deployments -
GET /v1/convai/agents/{agent_id}/deployments- List current and historical branch traffic splits with page-based pagination. - Cancel a test invocation -
POST /v1/convai/test-invocations/{test_invocation_id}/cancel- Cancel a running test invocation.
Speech Engine
- Duplicate a Speech Engine -
POST /v1/speech-engine/{speech_engine_id}/duplicate- Duplicate a Speech Engine and optionally assign the copy a newname.
Updated endpoints
ElevenAgents
- Create agent, Get agent and Update agent
- Added
gpt-6.1-solandclaude-sonnet-5-5to theLLMenum. - Added
eleven_v4andeleven_v4_turboto the conversational TTS model options. The default changed fromeleven_flash_v2toeleven_v4_turbo. - Agent transfers and standalone workflow agent nodes add optional
preserve_voice_settings(boolean, defaultfalse) to retain the base voice, TTS model and voice settings after a transfer. - Skip-turn tool configurations add optional
wait_timeout_secs(number, default-1). A value of-1keeps the agent silent until the caller speaks. - Post-call webhook configurations add optional
exclude_transcript(boolean, defaultfalse) to omit turn-by-turn transcripts from JSON transcription webhooks. - Conversation history redaction configurations add optional
excluded_data_collection_ids(string array, maximum 50) to preserve selected extracted values while redacting their rationales. - Client tool
response_timeout_secsnow accepts-1to wait indefinitely whenexpects_responseis enabled.
- Added
- List tickets
- Added optional
priorities(array) withlow,medium,highandurgentvalues. - Added
sort_bywithcreated_atandpriorityvalues; the default iscreated_at. - Ticket responses now require
title, nullablepriority, and apriority_changesarray. Ticket creation and update requests can setpriority, and ticket status addscancelled.
- Added optional
- List tools - Added optional nullable
used_by_agent_id(string) to return tools referenced by an agent’s main branch. - Export batch call results - Added optional nullable
limit(integer, minimum1) to export only the first recipients as a column preview. - List test invocations and Get test invocation
- Test invocation summaries add required
cancelled_count(integer) and optionalcancelled(boolean, defaultfalse). - Test run status adds
cancelled.
- Test invocation summaries add required
- Get conversation details - Transcript entries add optional nullable
platform_eventwithuser_turn_timeoutandskip_turn_wait_elapsedvalues. - Get agent version metadata - Added optional nullable
merged_authors, an array describing the people who published changes merged into the main branch. - Get crawl job - Removed the deprecated
max_depthresponse field.
Eleven v4 i Eleven v4 Turbo
Eleven v4 i Eleven v4 Turbo są już dostępne. Eleven v4 zapewnia wyższą jakość, bardziej ekspresyjną mowę i lepsze klonowanie głosu w ponad 90 językach. Eleven v4 Turbo oferuje tę samą rodzinę modeli do aplikacji działających w czasie rzeczywistym, ze średnim opóźnieniem inferencji około 100 ms.
Używaj eleven_v4 przez API Text to Dialogue do tworzenia treści i długich nagrań audio. Używaj eleven_v4_turbo przez WebSocket Text to Dialogue dla agentów i aplikacji interaktywnych.
Speech to Text
- Edycja transkrypcji: Transkrypcja wsadowa i w czasie rzeczywistym obsługuje teraz instrukcję edycji w języku naturalnym o długości do 2000 znaków. Odpowiedzi wsadowe zwracają wynik w
edited_transcript, a sesje w czasie rzeczywistym wysyłają zdarzenieedited_transcript. Zobacz przewodniki dla trybu wsadowego i w czasie rzeczywistym, aby poznać niezgodności, obsługę odpowiedzi i ceny.
ElevenAgents
- Modele agentów: Dodano
gpt-6-sol,gpt-6-luna,glm-52,deepseek-v41-flash,claude-opus-5iclaude-opus-5-5do obsługiwanych opcji LLM agentów. - Zużycie w testach agentów: Podsumowania wywołań testowych mogą zawierać łączną liczbę kredytów i cenę w USD. Poszczególne uruchomienia testów mogą zawierać liczbę kredytów i rozbicie opłat.
Flows
- API szablonów: Dodano endpointy do wyświetlania i pobierania opublikowanych szablonów Flows, uruchamiania szablonów i pobierania wyników. Uruchomienia mogą wskazywać opublikowaną wersję i wysyłać końcowy wynik do skonfigurowanego webhooka.
Text to Dialogue
- Ciągłość generowania: Żądania Text to Dialogue mogą używać poprzedzającego lub następnego tekstu oraz identyfikatorów żądań, by zachować ciągłość między generowaniami.
- Tryb głosu Professional: Żądania Text to Dialogue mogą używać wersji Instant Voice Clone głosu Professional Voice Clone, aby zmniejszyć opóźnienie lub zwiększyć ekspresję.
Wydania SDK
JavaScript SDK
- v2.70.0 - Dodano typy edycji transkrypcji Speech to Text dla trybu wsadowego i czasu rzeczywistego, filtrowanie
branchIdoraz pola kosztów dla podsumowań wywołań testowych, automatyczne wykrywanie bazy wiedzy,usePvcAsIvcdla Text to Dialogue i model agentadeepseek-v41-flash.
Python SDK
- v2.70.0 - Dodano typy edycji transkrypcji Speech to Text dla trybu wsadowego i czasu rzeczywistego, filtrowanie
branch_idoraz pola kosztów dla podsumowań wywołań testowych, automatyczne wykrywanie bazy wiedzy,use_pvc_as_ivcdla Text to Dialogue i model agentadeepseek-v41-flash.
ElevenLabs CLI
- v1.4.0 - Naprawiono żądania z podanym kluczem API, aby nie wysyłały też zapisanych danych OAuth, co powodowało błędy uwierzytelniania. Dodano opisy grupy poleceń opinii oraz instrukcje zgłaszania brakujących funkcji do wygenerowanych umiejętności agentów. Wygenerowano ponownie klienta API z endpointami szablonów Flows i aktualnymi typami schematów.
API
Zobacz zmiany w API
Nowe endpointy
Flows
- Lista szablonów -
GET /v1/flows/templates- Wyświetl opublikowane szablony i ich uruchamialne wersje. - Pobierz szablon -
GET /v1/flows/templates/{template_id}- Pobierz szablon i jego uruchamialne wersje. - Utwórz uruchomienie szablonu -
POST /v1/flows/templates/{template_id}/runs- Uruchom szablon z wartościami wejściowymi, opcjonalną wersją i opcjonalnym webhookiem. - Lista uruchomień szablonu -
GET /v1/flows/templates/{template_id}/runs- Wyświetl uruchomienia szablonu z paginacją kursora i opcjonalnym filtrowaniem wersji. - Pobierz uruchomienie szablonu -
GET /v1/flows/templates/{template_id}/runs/{run_id}- Pobierz uruchomienie szablonu i stan jego danych wyjściowych.
Zaktualizowane endpointy
Speech to Text
- Konwertuj mowę na tekst -
POST /v1/speech-to-text- Dodano opcjonalne dopuszczające null
transcript_edit(ciąg znaków), które przyjmuje instrukcję edycji w języku naturalnym o długości do 2000 znaków. - Odpowiedzi dodają opcjonalne dopuszczające null
edited_transcript. Udana edycja zawiera wymagane polakind: "transcript"itext. Nieudana edycja zawiera wymagane polakind: "error",error_type: "edit_failed"imessage.
- Dodano opcjonalne dopuszczające null
- Speech to Text w czasie rzeczywistym przyjmuje
transcript_edit(ciąg znaków) i wysyła zdarzeniaedited_transcriptz wymaganymi polamitextiedited_text.
ElevenAgents
- Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
- Dodano
gpt-6-sol,gpt-6-luna,glm-52,deepseek-v41-flash,claude-opus-5iclaude-opus-5-5do enumaLLM. - Monitory alertów dodają opcjonalne dopuszczające null
enabled(wartość logiczna), aby określić, czy monitor może wysyłać powiadomienia.
- Dodano
- Lista rozmów i Wyszukiwanie tekstowe
data_collection_paramsidynamic_variable_paramsdodają operatoryneqiin. Wartości dlainużywają separatora pionowej kreski.evaluation_paramsprzyjmujesuccess,failurelubunknownjako wartość wyniku.
- Inteligentne wyszukiwanie -
GET /v1/convai/conversations/messages/smart-search- Dodano opcjonalne dopuszczające null
branch_id(ciąg znaków).
- Dodano opcjonalne dopuszczające null
- Lista wywołań testowych -
GET /v1/convai/test-invocations- Dodano opcjonalne dopuszczające null
branch_id(ciąg znaków). - Podsumowania wywołań testowych dodają opcjonalne dopuszczające null
credits_used(liczba całkowita) itotal_price(liczba).
- Dodano opcjonalne dopuszczające null
- Pobierz wywołanie testowe -
GET /v1/convai/test-invocations/{test_invocation_id}- Poszczególne uruchomienia testów dodają opcjonalne dopuszczające null
credits_used(liczba całkowita) icharging(ConversationChargingCommonModel).
- Poszczególne uruchomienia testów dodają opcjonalne dopuszczające null
- Symuluj rozmowę i Streamuj symulację rozmowy
- Zmieniono domyślną wartość opcjonalnego
new_turns_limitz10,000na100i ustawiono maksymalną wartość na100.
- Zmieniono domyślną wartość opcjonalnego
- Utwórz zadanie crawlowania i Pobierz zadanie crawlowania
- Dodano opcjonalne
auto_discover(wartość logiczna, domyślniefalse), aby podążać za linkami i dodawać nowo wykryte strony podczas automatycznej synchronizacji. Wymaga toenable_auto_sync: true.
- Dodano opcjonalne
- Odśwież dokument bazy wiedzy -
POST /v1/convai/knowledge-base/{documentation_id}/refreshAutoSyncInfododaje opcjonalneauto_discover(wartość logiczna, domyślniefalse), które wskazuje, czy odświeżanie crawluje i dodaje nowo wykryte strony.
- Lista narzędzi serwera MCP -
GET /v1/convai/mcp-servers/{mcp_server_id}/tools- Odpowiedzi dodają opcjonalne
tool_approval_statuses(tablica). Każdy element zawiera wymaganetool_id(ciąg znaków) istate(up_to_date,needs_reviewlubnot_approved) oraz opcjonalne pola zasad zatwierdzania i zatwierdzonej definicji.
- Odpowiedzi dodają opcjonalne
Text to Dialogue
- Konwertuj tekst na dialog, Streamuj tekst na dialog, Konwertuj ze znacznikami czasu i Streamuj ze znacznikami czasu
- Dodano opcjonalne
use_pvc_as_ivc(wartość logiczna, domyślniefalse), aby używać wersji Instant Voice Clone głosu Professional Voice Clone. - Dodano opcjonalne dopuszczające null
previous_textifuture_text(ciągi znaków, maksymalnie 100 znaków) orazprevious_request_idsinext_request_ids(tablice ciągów znaków, maksymalnie 3 identyfikatory) dla ciągłości generowania. - Opcjonalny obiekt
settingsdodaje dopuszczające nullsimilarity(liczba, 0–1, domyślnie0.75).
- Dodano opcjonalne
Text to Speech
- Konwertuj tekst na mowę, Streamuj tekst na mowę, Konwertuj ze znacznikami czasu i Streamuj ze znacznikami czasu
- Istniejące pole
use_pvc_as_ivcnie jest już przestarzałe.
- Istniejące pole
Flows
- Utwórz generowanie obrazu, Utwórz generowanie wideo i Utwórz uruchomienie szablonu
- Cele webhooków wymagają teraz jawnego dyskryminatora
type(alllubids). Poprzednie wartości domyślne zostały usunięte.
- Cele webhooków wymagają teraz jawnego dyskryminatora
Voice Design
- Utwórz głos z podglądu, Utwórz podglądy głosu, Zaprojektuj głos i Zremiksuj głos
- Dodano odpowiedź
409, gdy generowanie dla podglądu jest już w toku. Ponów żądanie po otrzymaniu tej odpowiedzi.
- Dodano odpowiedź
Obszary robocze
- Utwórz klucz API konta usługi -
POST /v1/service-accounts/{service_account_user_id}/api-keys- Dodano opcjonalne dopuszczające null
tts_concurrency_limit,music_concurrency_limitidubbing_concurrency_limit(liczby całkowite) dla kluczy API kont usług Enterprise.
- Dodano opcjonalne dopuszczające null
- Zaktualizuj klucz API konta usługi -
PATCH /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}- Dodano opcjonalne
tts_concurrency_limit,music_concurrency_limitidubbing_concurrency_limit. Każde pole przyjmuje liczbę całkowitą,clear,no_updatelubnull, a domyślnie ma wartośćno_update.
- Dodano opcjonalne
Modele
- Lista modeli -
GET /v1/models- Wycofano wymagane
max_characters_request_free_userimax_characters_request_subscribed_user. Te pola nie są egzekwowane; zamiast nich użyjmaximum_text_length_per_request.
- Wycofano wymagane
Obrazy i wideo
- Wycofanie Sora 2 i Sora 2 Pro: OpenAI kończy działanie API Sora 24 września 2026 r. Oba modele zostały usunięte z selektora modeli Obrazy i wideo i przestaną generować tego dnia. Istniejące generacje pozostaną dostępne w historii. Flows i szablony korzystające z węzła Sora trzeba przełączyć na inny model wideo, np. Gemini Omni 1.1 Flash, zanim będzie można uruchomić je ponownie.
- Wycofanie Seedance 1.5 Pro: ByteDance wycofuje Seedance 1.5 Pro 11 listopada 2026 r. Model nie jest już dostępny dla nowych generacji i przestanie działać tego dnia. Zamiast niego użyj modelu Seedance 2.0.
ElevenAgents
- Równoległe wywołania narzędzi: Konfiguracja promptu agenta zawiera teraz
enable_parallel_tool_calls(boolean, domyślnietrue). Gdy jest włączona, obsługiwane modele mogą wykonać wiele narzędzi w jednej turze. - Modele agentów: Dodano
gpt-6-astrado opcji LLM agenta. - Alerty: Alerty agenta obsługują teraz kanały Slack obok powiadomień PagerDuty i webhooków.
- Wyszukiwanie numerów telefonów: Dodano endpoint numerów telefonów z paginacją opartą na kursorze i filtrami dostawcy, obsługi połączeń wychodzących, przypisanego agenta i gałęzi, etykiety oraz numeru telefonu.
Obrazy i wideo
- Modele GPT Image 2.5: Generowanie obrazów obsługuje teraz
gpt-image-2.5-flareigpt-image-2.5-sunburst. Oba modele przyjmują do 10 obrazów referencyjnych, poziomy jakości domax, 14 stałych proporcji obrazu orazauto, a także wynik 1K, 2K lub 4K.
Speech Engine
- Limit czasu kaskady: Żądania tworzenia i aktualizacji Speech Engine przyjmują teraz
cascade_timeout_seconds(number, 2–15, domyślnie4), aby określić, jak długo ElevenLabs czeka na nadrzędny Speech Engine przed ponowną próbą.
Text to Speech
- Granice tur z wieloma kontekstami: Znacznik
is_final_audio_for_turnjest teraz wysyłany po każdym zbuforowanym bajcie dla danej tury, w tym w formatach MP3 i Opus. Klienci mogą używać znacznika jako dokładnej granicy tury bez przechodzenia na PCM.
Wydania SDK
JavaScript SDK
- v2.69.0 - Dodano
transcriptEditdo wrappera Speech to Text w czasie rzeczywistym, z edytowanym tekstem dostarczanym przez zdarzeniaedited_transcript. Naprawiono weryfikację JWT Speech Engine dla kluczy API z sufiksami rezydencji danych. DodanophoneNumbers.listV2i metody szablonów Flows do wyświetlania i pobierania szablonów oraz wyświetlania, tworzenia i pobierania uruchomień. Wygenerowano ponownie klientów i typy dla GPT Image 2.5, alertów agentów Slack, równoległych wywołań narzędzi,gpt-6-astra, limitów równoczesności kluczy API kont usługowych, zerowej retencji Music, filtrów rozmów i statusów zatwierdzania narzędzi MCP.
Python SDK
- v2.69.0 - Dodano
transcript_editdo wrappera Speech to Text w czasie rzeczywistym, z edytowanym tekstem dostarczanym przez zdarzeniaedited_transcript. Naprawiono weryfikację JWT Speech Engine dla kluczy API z sufiksami rezydencji danych oraz sprawiono, żeplayzgłasza błąd, gdyffplayzawiedzie. Dodanophone_numbers.list_v2i metody szablonów Flows do wyświetlania i pobierania szablonów oraz wyświetlania, tworzenia i pobierania uruchomień. Wygenerowano ponownie klientów i typy dla GPT Image 2.5, alertów agentów Slack, równoległych wywołań narzędzi,gpt-6-astra, limitów równoczesności kluczy API kont usługowych, zerowej retencji Music, filtrów rozmów i statusów zatwierdzania narzędzi MCP.
ElevenLabs CLI
- v1.3.2 - Dodano opcjonalne metadane
--intentdo zbierania opinii o użyciu CLI. Dodanoelevenlabs feedback missing-capabilitydo zgłaszania workflow, których CLI nie obsługuje.
API
Zobacz zmiany w API
Nowe endpointy
ElevenAgents
- Wyświetl stronę numerów telefonów -
GET /v1/convai/v2/phone-numbers- Dodano opcjonalne parametry paginacji
page_size(integer, 1–1000, domyślnie100) icursor(nullable string). - Dodano opcjonalne filtry
search,label,phone_number,provider,supports_outbound,agent_id,branch_id,sort_byisort_direction.sort_byprzyjmujelabellubphone_number;sort_directiondomyślnie ma wartośćasc. - Odpowiedź zawiera wymagane
phone_numbers(array), opcjonalne nullablenext_cursor(string) ihas_more(boolean, domyślniefalse).
- Dodano opcjonalne parametry paginacji
Zaktualizowane endpointy
ElevenAgents
- Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
- Konfiguracja promptu dodaje
enable_parallel_tool_calls(boolean, domyślnietrue). Nadpisania workflow przyjmują nullable boolean. - Enum
LLMdodajegpt-6-astra, w tym nadpisania inicjowania rozmowy. - Powiadomienia integracji alertów używają teraz
integration_typedo wyborupagerdutylubslack. Powiadomienia Slack wymagająconnection_idichannel_id(string);channel_idprzyjmuje 1–64 znaki.
- Konfiguracja promptu dodaje
- Wyświetl rozmowy i Rozwiąż odwołanie do rozmowy
data_collection_paramsnie przyjmuje już operatoramissing. Użyj pustej wartości, aby dopasować rozmowy, w których pole nie zostało zebrane.- Pusta wartość w
dynamic_variable_paramsdopasowuje rozmowy, w których zmienna nie została ustawiona.
- Utwórz Speech Engine, Pobierz Speech Engine i Zaktualizuj Speech Engine
- Dodano
cascade_timeout_seconds(number, 2–15). Żądania tworzenia domyślnie używają4, żądania aktualizacji przyjmują wartość nullable, a odpowiedzi wymagają tego pola.
- Dodano
Obrazy i wideo
- Utwórz generowanie obrazu -
POST /v1/flows/image- Dodano warianty żądań dla
gpt-image-2.5-flareigpt-image-2.5-sunburst. - Oba warianty wymagają
promptimodel_id, przyjmują do 10imagesoraz dodająresolution(1K,2Klub4K, domyślnie1K). qualityprzyjmujelow,medium,high,xhighlubmaxi domyślnie ma wartośćhigh.aspect_ratioprzyjmujeautooraz 14 stałych proporcji i domyślnie ma wartość16:9.
- Dodano warianty żądań dla
Dubbing
- Utwórz projekt dubbingowy -
POST /v1/dubbing/project- Multipart
keytermsprzyjmuje powtarzane pola lub pojedynczą tablicę JSON. - Multipart
webhook_idsprzyjmuje powtarzane pola, pojedynczą tablicę JSON lub ciąg wartości rozdzielonych przecinkami.
- Multipart
- Pobierz zasób obszaru roboczego, Udostępnij zasób obszaru roboczego i Cofnij udostępnienie zasobu obszaru roboczego
WorkspaceResourceTypedodajedubbing_project.
Baza wiedzy
- Utwórz zadanie indeksowania -
POST /v1/convai/knowledge-base/crawl- Wycofano
max_depth(integer, domyślnie3). Pole nie ma już działania i nie ma minimalnych ani maksymalnych ograniczeń. - Metadane zadania indeksowania nie wymagają już
max_depth.
- Wycofano
Użytkownik
- Pobierz użytkownika i Pobierz subskrypcję
- Enumy walut dodają
gbp.
- Enumy walut dodają
Zmiany w schemacie
Text to Speech
- Wiadomości WebSocket
audioifinalz wieloma kontekstami definiują terazis_final_audio_for_turnjako występujące po dostarczeniu wszystkich zbuforowanych bajtów dla tury.
ElevenAgents
- Kolejkowanie połączeń i dźwięk oczekiwania: Dodaliśmy kolejkowanie połączeń dla agentów, którzy osiągnęli limit równoczesnych połączeń. Osoby w kolejce słyszą dźwięk oczekiwania i otrzymują zdarzenia
queue_status, dopóki nie zostaną przyjęte lub nie minie limit czasu. Nowe metody API pozwalają przesyłać lub usuwać własny dźwięk oczekiwania. - Metadane wersji testowej: Wyniki testów agenta wskazują teraz wersję agenta, na której je uruchomiono, oraz to, czy obejmowały zmiany w wersji roboczej. Podsumowania wywołań pokazują też, kiedy częściowe ponowne przesłania uruchomiono na innych wersjach.
- Metadane modelu i konta: Konfiguracja LLM agenta obsługuje teraz
gemini-3.8-flash. Odpowiedzi kont WhatsApp wskazują, czy konto korzysta z Cloud API, czy z procesu rejestracji współistniejącej.
Muzyka
- Obsługa API Music v2.5: Endpointy Music i SDK obsługują teraz
music_v2_5. Fragmenty generowania planu kompozycji obsługują do 6132 znaków, maksymalnie 30 wierszy po 200 znaków.
Wydania SDK
JavaScript SDK
- v2.68.0 - Dodano metody przesyłania i usuwania dźwięku oczekiwania agenta. Wygenerowano ponownie typy dla kolejkowania połączeń, odwołań do procedur, tworzenia gałęzi wersji roboczej, limitów zapytań RAG, metadanych wersji testowej,
gemini-3.8-flashimusic_v2_5.
Python SDK
- v2.68.0 - Dodano synchroniczne i asynchroniczne metody przesyłania oraz usuwania dźwięku oczekiwania agenta. Wygenerowano ponownie typy dla kolejkowania połączeń, procedur, tworzenia gałęzi wersji roboczej, limitów zapytań RAG, metadanych wersji testowej,
gemini-3.8-flashimusic_v2_5. Wrappercompose_detailedobsługuje teraz każdy wygenerowany identyfikator modelu muzycznego oraz plany kompozycji oparte na promptach i fragmentach.
iOS SDK
- v3.3.1 - Uzgadnia wiadomości agenta według
response_idzamiastevent_id, zachowując wiele odpowiedzi wokół wywołań narzędzi i zapobiegając przypinaniu przesyłanych części lub poprawek do niewłaściwej wiadomości.
ElevenLabs CLI
- v1.3.0 - Dodano opcjonalne metadane
--intentdo generowanych poleceń API. Dodanoelevenlabs feedback missing-capabilitydo zgłaszania workflow, których CLI nie obsługuje.
Pakiety
- @elevenlabs/convai-widget-core@0.18.2 i @elevenlabs/convai-widget-embed@0.18.2 - Naprawiono zduplikowane odpowiedzi agenta po wywołaniach narzędzi i procedur. Przesyłane odpowiedzi tekstowe zachowują formatowanie Markdown, a rozmowy głosowe nie renderują już niewypowiedzianych przesyłanych części czatu. Pakiet embed ogranicza też zdarzenia
user_activitydo jednego na sekundę i usuwa limit po zakończeniu sesji.
API
Zobacz zmiany w API
Nowe endpointy
ElevenAgents
- Prześlij dźwięk oczekiwania agenta -
POST /v1/convai/agents/{agent_id}/hold-audio- Przyjmuje wymagany
hold_audio_file(binarny) jako dane formularza multipart. Plik musi być w formacie MP3 lub WAV, mieć maksymalnie 40 MB i 180 sekund. - Zwraca wymagane
agent_id(string) ihold_audio(AgentHoldAudioConfig). Obiekt dźwięku oczekiwania wymagaaudio_path,audio_url,original_filename(string),duration_secs(number) isize_bytes(integer).
- Przyjmuje wymagany
- Usuń dźwięk oczekiwania agenta -
DELETE /v1/convai/agents/{agent_id}/hold-audio- Usuwa własny klip, aby osoby w kolejce słyszały domyślny ton oczekiwania.
- Zwraca wymagane
agent_id(string).
Zaktualizowane endpointy
ElevenAgents
- Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
- Dodano opcjonalne
platform_settings.queueing_config(AgentQueueingConfig) zenabled(boolean, domyślniefalse) iwait_timeout_seconds(integer, 1–1800, domyślnie180). - Odpowiedzi konfiguracji kolejki zawierają tylko do odczytu nullable
hold_audio(AgentHoldAudioConfig). Odpowiedzi agenta zawierają też opcjonalnedefault_hold_audio_url(string).
- Dodano opcjonalne
- Pobierz rozmowę -
GET /v1/convai/conversations/{conversation_id}- Metadane dodają opcjonalne nullable
queue_wait_secs(number). Czas w kolejce nie jest uwzględniany wcall_duration_secsani rozliczanym czasie.
- Metadane dodają opcjonalne nullable
- Utwórz gałąź agenta -
POST /v1/convai/agents/{agent_id}/branches- Dodano opcjonalne
include_draft(boolean, domyślniefalse). Gdy ma wartośćtrue, gałąź utworzona z końca gałęzi obejmuje zestaw procedur z wersji roboczej wywołującego.
- Dodano opcjonalne
- Wyświetl procedury oraz endpointy tworzenia, pobierania i wersji roboczej procedur
- Elementy listy dodają opcjonalne
referenced_tool_ids,referenced_kb_ids,referenced_procedure_idsireferenced_dynamic_variables(tablice stringów). - Odpowiedzi agenta i podglądu scalania dodają opcjonalne
procedures, mapę z kluczem będącym identyfikatorem procedury.
- Elementy listy dodają opcjonalne
- Wyświetl wywołania testowe -
GET /v1/convai/test-invocations- Dodano opcjonalne nullable
search(string) do filtrowania testów i folderów według nazwy.
- Dodano opcjonalne nullable
- Uruchom testy agenta i Pobierz wywołanie testowe
- Odpowiedzi wywołania zestawu testów i uruchomienia testu jednostkowego dodają opcjonalne nullable
version_id(string) oraz opcjonalneran_against_draft(boolean, domyślniefalse). - Podsumowania wywołań dodają też opcjonalne
runs_diverged_from_version(boolean, domyślniefalse).
- Odpowiedzi wywołania zestawu testów i uruchomienia testu jednostkowego dodają opcjonalne nullable
POST /v1/convai/agents/{agent_id}/knowledge-base/rag-query- Treść żądania dodaje opcjonalne nullable nadpisania specyficzne dla zapytania:
max_documents_length(integer, 1–50 000) imax_retrieved_rag_chunks_count(integer, 1–20).
- Treść żądania dodaje opcjonalne nullable nadpisania specyficzne dla zapytania:
- Pobierz konto WhatsApp -
GET /v1/convai/whatsapp-accounts/{phone_number_id}- Dodano opcjonalne
account_type(WhatsAppAccountType, domyślniecloud_api). Wartości tocloud_apiicoexistence.
- Dodano opcjonalne
- Oblicz oczekiwane użycie LLM -
POST /v1/convai/agent/{agent_id}/llm-usage/calculateLLMUsageCalculatorLLMResponseModeldodaje wymaganeprice_per_message(number).
Muzyka
MusicModelIDdodajemusic_v2_5dlaPOST /v1/music/video-to-music,POST /v1/music/plan, Twórz muzykę,POST /v1/music/detailed,POST /v1/music/detailed/stream,POST /v1/music/stream,POST /v1/music/uploadiPOST /v1/music/finetunes.GenerationChunk.textzwiększamaxLengthz 6000 do 6132 znaków dlaPOST /v1/music/plan,POST /v1/music,POST /v1/music/detailed,POST /v1/music/detailed/stream,POST /v1/music/streamiPOST /v1/music/upload. Nazwy sekcji mogą zawierać 1–100 znaków, a fragmenty do 30 wierszy po 200 znaków.
Zmiany w schemacie
ElevenAgents
- Zdarzenia serwera w czasie rzeczywistym dodają
queue_status. Wymaganequeue_status_event.statusprzyjmujewaiting,admittedlubtimed_out;timed_outpoprzedza kod zamknięcia WebSocket4300. Dźwięk oczekiwania nadal jest dostarczany jako zwykłe zdarzeniaaudio. - Enum
LLMdodajegemini-3.8-flash, w tym nadpisania inicjowania rozmowy. - Unie wyników narzędzi systemowych rozmowy dodają
start_procedure_success,start_procedure_error,end_procedure_successiend_procedure_error. FeaturesUsageCommonModeldodaje opcjonalne statusy funkcjifreeform_procedureistructured_procedure.
Scribe v2 Medical
Scribe v2 Medical jest teraz ogólnie dostępny. To model wsadowego rozpoznawania mowy wyspecjalizowany w nagraniach medycznych i klinicznych, rozliczany w tej samej stawce co Scribe v2.
Przekaż scribe_v2_medical jako model_id w Utwórz transkrypcję. Podpowiedzi słów kluczowych, wykrywanie encji, diarizacja mówców i tryb bez dosłownej transkrypcji działają tak samo jak w Scribe v2.
ElevenAgents
- Zgłoszenia rozmów dla całego workspace: Dodano Listę zgłoszeń workspace, aby pobierać zgłoszenia triage rozmów ze wszystkich dostępnych agentów. Filtruj według statusu lub przypisanej osoby i używaj paginacji kursorem, aby pobrać do 100 zgłoszeń na stronę.
- Filtry rozmów według zmiennych dynamicznych: Lista rozmów i Wyszukiwanie tekstowe wiadomości rozmów przyjmują teraz powtarzalne filtry
dynamic_variable_params. Użyjname:op:valuezeq,gt,gte,ltlublte; operatory porównania wymagają wartości numerycznych. - Wykrywanie automatycznej sekretarki Twilio: Konfiguracje telefonii wychodzącej i połączeń wsadowych obsługują teraz opcjonalne
twilio_machine_detection. Wybierzenable, aby wcześnie określić, czy odebrał człowiek czy automat, albodetect_message_end, aby zaczekać na koniec powitania poczty głosowej. Wyniki są przekazywane przez nowe zdarzenie webhookaanswering_machine_detection. - Ograniczenia wartości zbieranych danych: Właściwości zbierania danych mogą teraz używać
allowed_values, aby wskazać zmienną dynamiczną zawierającą dozwolone wartości. Poprzednie poleallowed_values_dynamic_variablejest przestarzałe. - Metadane agenta: Odpowiedzi Lista gałęzi agenta wskazują teraz, kiedy utworzono szkic i czy poprzedza on szczyt gałęzi. Podsumowania agenta i Speech Engine wymagają teraz
voice_id. - Źródłowe URL-e bazy wiedzy: Fragmenty zapytań RAG agenta zawierają teraz wymagane nullable
source_url, z monitorowanym URL-em dokumentów URL. - Załączniki w odpowiedziach agenta: Zdarzenia WebSocket
agent_responsezawierają teraz opcjonalneattachments. Każdy załącznik wymagaurliname, a może zawieraćmime_type.
Workspace
- Limity platformy dla kluczy API: Odpowiedzi dla kluczy API kont usług mogą teraz zawierać firmowe
platform_limitsdla kredytów, Professional Voice Clones oraz współbieżności TTS, Dubbing i Music.
Wydania SDK
JavaScript SDK
- v2.67.0 - Dodano
dynamicVariableParamsdo żądań listowania rozmów i wyszukiwania tekstowego. Wygenerowano ponownie typy dla wykrywania automatycznej sekretarki Twilio, ograniczeń wartości zbieranych danych, limitów platformy kluczy API, metadanych szkicu gałęzi agenta i źródłowych URL-i bazy wiedzy.
Python SDK
- v2.67.0 - Dodano
dynamic_variable_paramsdo synchronicznych i asynchronicznych metod listowania rozmów i wyszukiwania tekstowego. Wygenerowano ponownie typy dla wykrywania automatycznej sekretarki Twilio, ograniczeń wartości zbieranych danych, limitów platformy kluczy API, metadanych szkicu gałęzi agenta i źródłowych URL-i bazy wiedzy. Klient zamiany tekstu na mowę w czasie rzeczywistym nie przekazuje już wewnętrznego znacznika pominięcia do połączenia.
ElevenLabs CLI
- v1.2.0 - Dodano polecenie
elevenlabs sayi jego umiejętność agenta, wygenerowano ponownie powiązania poleceń API oraz ustawionoeleven_v3jako domyślny model TTS.
Pakiety
- @elevenlabs/client@1.25.0, @elevenlabs/react@1.15.2, @elevenlabs/react-native@1.2.27, @elevenlabs/convai-widget-core@0.18.1 i @elevenlabs/convai-widget-embed@0.18.1 - Ponownie wyeksportowano
MessageAttachmentz@elevenlabs/client, aby użytkownicy mogli importować ten typ bezpośrednio. - @elevenlabs/client@1.24.0, @elevenlabs/types@0.23.0, @elevenlabs/react@1.15.1, @elevenlabs/react-native@1.2.26, @elevenlabs/convai-widget-core@0.18.0 i @elevenlabs/convai-widget-embed@0.18.0 - Przekazano załączniki plików z odpowiedzi agenta do
onMessagei dodano opcjonalne ustawienie sesjiwebRtc.singlePeerConnection. Widget lokalizuje też przyciski powitania i naprawia pomijane lub zduplikowane odpowiedzi czatu tekstowego.
API
Zobacz zmiany w API
Nowe endpointy
ElevenAgents
- Lista zgłoszeń workspace -
GET /v1/convai/triage-tickets- Zwraca zgłoszenia triage rozmów ze wszystkich agentów, do których wywołujący ma dostęp, posortowane od najnowszych.
- Dodano opcjonalne parametry zapytania
page_size(liczba całkowita, 1–100, domyślnie100),status(AgentConversationTicketStatus),assignee_user_id(string lubunassigned) icursor(string). - Zwraca
GetAgentConversationTicketsPageResponseModel.
Zaktualizowane endpointy
ElevenAgents
- Lista rozmów -
GET /v1/convai/conversations- Dodano opcjonalne nullable
dynamic_variable_params(powtarzalna tablica stringów). Każda wartość używa formatuname:op:value, gdzieoptoeq,gt,gte,ltlublte.
- Dodano opcjonalne nullable
- Wyszukiwanie tekstowe wiadomości rozmów -
GET /v1/convai/conversations/messages/text-search- Dodano opcjonalne nullable
dynamic_variable_params(powtarzalna tablica stringów) z tą samą składnią.
- Dodano opcjonalne nullable
- Połączenie wychodzące Twilio, Połączenie wychodzące SIP trunk, Połączenie wychodzące Exotel i Wyślij połączenia wsadowe
telephony_call_configużywa teraz osobnych schematów wejścia i wyjścia.- Dodano opcjonalne nullable
twilio_machine_detection(TwilioMachineDetectionConfig). Jegomodeakceptujeenablelubdetect_message_endi domyślnie ma wartośćenable. Ustawienie jest ignorowane przez dostawców innych niż Twilio oraz w połączeniach przychodzących.
- Importuj numer telefonu -
POST /v1/convai/phone-numbers- Dodano opcjonalne nullable
account_auth_token(string) dla importów kluczy API Twilio do weryfikacji podpisów webhooków przychodzących.
- Dodano opcjonalne nullable
Zmiany w schematach
ElevenAgents
WebhookEventTypezyskujeanswering_machine_detection.AgentBranchSummaryzyskuje opcjonalne nullabledraft_created_at(liczba całkowita) oraz opcjonalnedraft_is_behind_tip(wartość logiczna, domyślniefalse).AgentKnowledgeBaseRagChunkResponseModelzyskuje wymagane nullablesource_url(string).AgentSummaryResponseModeliSpeechEngineSummaryResponsezyskują wymaganevoice_id(string).AnalysisPropertyzyskuje opcjonalne nullablename(string) iallowed_values(AllowedValues).LiteralJsonSchemaPropertytakże zyskujeallowed_values. Oba oznaczająallowed_values_dynamic_variablejako przestarzałe.DataCollectionResultCommonModelzyskuje opcjonalne nullablename(string).WorkspaceApiKeyResponseModelzyskuje opcjonalne nullableplatform_limits(PlatformLimits).- Narzędzie MCP
Iconzyskuje opcjonalne nullabletheme(lightlubdark). SMBToolConfigzyskuje warianty parametrówsend_custom_email,create_service_quote_requesticreate_product_quote_request.- Schematy parametrów zapytań webhooków i konfiguracja połączeń telefonicznych używają teraz osobnych modeli wejścia i wyjścia.
- Zdarzenia WebSocket
agent_responsezyskują opcjonalneattachments(tablica). Każdy element wymagaurliname(stringi) oraz przyjmuje opcjonalnemime_type(string).
ElevenCreative
ReferenceVideo.studio_clipużywa terazStudioClipLocatorzamiastStudioClipReference. Pola i format przesyłania pozostają bez zmian.
ElevenAgents
- Wprowadzanie danych z klawiatury telefonu: Konfiguracja rozmowy agenta obsługuje teraz opcjonalne
dtmf_input_settingsdla wprowadzania DTMF. Ustaw czas oczekiwania na cyfrę, użyj#jako znaku końca i ukryj wpisy z klawiatury w transkrypcjach, logach i analizie. - Historia załączników w rozmowie: Wpisy transkrypcji w Pobierz rozmowę zawierają teraz
file_inputs— tablicę z ID, nazwą, typem MIME i URL-em każdego załączonego pliku. - Filtrowanie po tagach agenta: Lista agentów przyjmuje teraz opcjonalny parametr zapytania
tags. Powtórz parametr, aby dopasować agentów z dowolnym z podanych tagów. - Kontekst kampanii wsadowej: Pobierz rozmowę identyfikuje teraz połączenia wsadowe za pomocą opcjonalnych metadanych
campaign, zawierających wymaganecampaign_idicampaign_lead_id.
Muzyka
- Dane wizualne przebiegu fali: Szczegółowe generowanie muzyki, Strumieniowanie muzyki ze szczegółami i Prześlij muzykę przyjmują teraz opcjonalne
with_waveform_visual(wartość logiczna, domyślniefalse). Odpowiedzi z tą opcją zawierają tablicę liczb całkowitychwaveform_visualo niskiej rozdzielczości, z czterema próbkami na sekundę.
Dubbing
- Paginacja projektów: Lista projektów Dubbing i Lista języków docelowych ograniczają teraz
page_sizedo zakresu 1–100. Filtrowanie statusu projektu obejmujequeued, a oba endpointy opisują użycienext_cursordo pobrania następnej strony.
Wydania SDK
JavaScript SDK
- v2.66.0 - Dodano
fileIdsdosendMultimodalMessage, dzięki czemu jedna wiadomość może zawierać wiele załączników.
Python SDK
- v2.66.0 - Dodano
file_idsdosend_multimodal_message, dzięki czemu jedna wiadomość może zawierać wiele załączników.
Android SDK
- v0.12.2 - Zachowano callback
onUnhandledClientToolCallpodczas podłączania zdarzeń sesji. Nieobsłużone wywołania narzędzi klienta, które oczekują odpowiedzi, otrzymują teraz automatyczną odpowiedź z błędem zamiast pozostawać nierozwiązane.
ElevenLabs CLI
- v1.1.0 - Wygenerowano ponownie powiązania poleceń API i dodano atrybucję żądań dla poleceń w workflow ElevenAgents. Polecenia dodają
cmd/<command>doUser-AgentCLI, dzięki czemu można rozróżnić żądania z workflow, takich jakagents pushiagents create.
Pakiety
- @elevenlabs/client@1.23.0, @elevenlabs/react@1.15.0, @elevenlabs/types@0.22.1, @elevenlabs/react-native@1.2.25, @elevenlabs/convai-widget-core@0.17.1 i @elevenlabs/convai-widget-embed@0.17.1 - Dodano
fileIdsdosendMultimodalMessage. Klient wysyła polafileifilesdla zgodności, a React udostępnia zaktualizowane API klienta.
API
Zobacz zmiany w API
Zaktualizowane endpointy
ElevenAgents
- Lista agentów -
GET /v1/convai/agents- Dodano opcjonalne nullable
tags(tablica stringów). Powtórz parametr zapytania, aby dopasować dowolny podany tag.
- Dodano opcjonalne nullable
- Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
- Dodano opcjonalne nullable
conversation_config.conversation.dtmf_input_settings(DTMFInputConfig). Obsługujedtmf_input_timeout(liczba, 0,5–10 sekund, domyślnie2),hash_terminator(wartość logiczna, domyślnietrue) iredact_input(wartość logiczna, domyślniefalse). - Dodano opcjonalne
sip_refer_play_dialtone(wartość logiczna, domyślnietrue) do konfiguracji przekierowania numeru telefonu. Ustawfalse, aby oryginalne połączenie pozostało ciche podczas wykonywania przekierowania SIP REFER. - Narzędzia systemowe procedur rozpoczęcia i zakończenia przyjmują teraz
ProcedureVersionReflubProcedureDraftRef. Odwołania do szkiców wymagająprocedure_id(string) i ustawiająversion_idnanull.
- Dodano opcjonalne nullable
- Pobierz rozmowę -
GET /v1/convai/conversations/{conversation_id}- Dodano
file_inputs(tablicaConversationHistoryTranscriptFileInputResponseModel) do wpisów transkrypcji. Każdy element wymagafile_id,original_filename,mime_typeifile_url(stringi). - Dodano opcjonalne nullable
campaign(BatchCallingCampaignInformation) do metadanych połączeń wsadowych. Obiekt wymagacampaign_idicampaign_lead_id(stringi). - Dodano
dtmfdoChatSourceMedium.
- Dodano
- Typy problemów zgłoszeń triage rozmów zyskują
incorrect_information,documentation_gap,platform_bugiwrong_action.
Muzyka
- Szczegółowe generowanie muzyki (
POST /v1/music/detailed) i Strumieniowanie muzyki ze szczegółami (POST /v1/music/detailed/stream)- Dodano opcjonalne
with_waveform_visual(wartość logiczna, domyślniefalse). - Szczegółowe odpowiedzi zyskują nullable
waveform_visual(tablica liczb całkowitych), próbkowane cztery razy na sekundę w zakresie od-1000do1000.
- Dodano opcjonalne
- Prześlij muzykę -
POST /v1/music/upload- Dodano opcjonalne
with_waveform_visual(wartość logiczna, domyślniefalse) oraz nullablewaveform_visual(tablica liczb całkowitych) w odpowiedzi.
- Dodano opcjonalne
ElevenCreative
- Utwórz projekt Studio i Utwórz podcast
quality_presetakceptuje teraznull, a domyślna wartośćstandardzostała usunięta ze schematu.
Dubbing
- Lista projektów Dubbing -
GET /v1/dubbing/projectpage_sizepozostaje opcjonalną liczbą całkowitą z domyślną wartością20, ale wartości są teraz ograniczane do 1–100 zamiast odrzucane.- Filtr
statusdokumentuje terazqueued,preparing,readyifailed. - Przekaż
next_cursorz poprzedniej odpowiedzi wcursor; pomiń go dla pierwszej strony.
- Lista języków docelowych -
GET /v1/dubbing/project/{project_id}/languagepage_sizepozostaje opcjonalną liczbą całkowitą z domyślną wartością20, ale wartości są teraz ograniczane do 1–100 zamiast odrzucane.- Filtr
statusobsługujequeued,processing,completed,staleifailed. - Przekaż
next_cursorz poprzedniej odpowiedzi wcursor; pomiń go dla pierwszej strony.
Zmiany w schematach
Workspace
PendingSubscriptionSwitchResponseModel.next_tierzyskujegrant.