Eleven Realtime
Eleven Realtime is a new family of models for ElevenAgents voice agents, rolling out gradually across workspaces. Each one is a complete voice agent configuration. You pick one model, and ElevenLabs handles the LLM, Speech to Text and Text to Speech settings behind it. Your agent’s system prompt, voice, tools and knowledge base work the same as before.
There are two to choose from. Eleven Realtime v1 Mini (eleven_realtime_v1_mini) is the default, and it’s the fastest and cheapest. Eleven Realtime v1 Max (eleven_realtime_v1_max) reasons before it answers, so use it when your agent has complex instructions or multi-step tool calls.
If you’ve already built on OpenAI’s Realtime API, you don’t need to rewrite your client. The events and the WebSocket transport are the same, so you change the endpoint and the session configuration. Your backend calls Create realtime client secret to get a short-lived secret, and the browser uses it to connect directly.
Realtime Translation
Realtime Translation turns speech in one language into speech in another while the speaker is still talking. It’s a WebSocket API, available now for enterprise workspaces.
You open a connection with a target_language and a voice_id, then stream audio in. You get translated speech back in that voice. You don’t have to say which language the speaker is using, because it’s detected automatically, but you can set source_language if you know it. Along the way, the server also sends live transcripts of the original speech and the translated text, for example to show captions.
eagerness controls the tradeoff between speed and quality. high starts translating soonest, and low waits for more of the sentence. The translated voice uses Eleven v4 Turbo by default, and you can switch to eleven_v3 or eleven_flash_v2_5 with tts_model_id. For sensitive conversations, set enable_zrm=true to use Zero Retention Mode.
Video to Music
Video to Music writes a soundtrack for your video. The Video to music API is now available: you upload a video and get back music that fits it, without writing a music prompt from scratch. Use it to score product videos, ads and social clips.
You can send up to 10 video files (200 MB combined). They’re joined in order and scored as one video. To steer the result, add a text description and up to 10 style tags.
Three options are worth knowing. use_audio_as_reference takes the genre, BPM, instruments and mood from the video’s own audio. add_sfx adds sound effects that match the video. separate_tracks returns the music and the sound effects as separate files in a ZIP, so you can mix them yourself.
ElevenAgents
- Alerts: Alerts notify a workspace when agent error rates exceed a threshold or rise sharply above their recent baseline. Monitors cover conversation failures, tool failures, webhook errors, guardrail triggers, call initiation errors and evaluation success scores, and run with default thresholds without any setup. Agent-level thresholds and notifiers can be set through
platform_settings.alertingon Update agent. Notifications can be delivered as webhooks, to Slack or to PagerDuty. - Guardrails generally available: Guardrails are no longer in alpha.
- Workspace environments: Environments for environment variables can now be managed through the API with List environments, Create environment and Delete environment. A variable without a value for an environment falls back to its
productionvalue. Deleting an environment removes its values from all variables, andproductioncannot be deleted. - Answering machine detection actions: Twilio answering machine detection settings on Outbound call and Submit batch call accept
actions, a list of rules that pair anaction(hang_up) with theanswered_byverdicts that trigger it, such asmachine_startorfax. Verdicts without a rule leave the call running. - New LLMs: Agents can use
gemini-4-argon,claude-opus-4-6and the ElevenLabs-hostednemotron-35-super-vl-nvfp4. See Models. - Authored-only workflow reads: Get agent and Update agent accept
include_procedure_generated_workflow_elements. Set it tofalseto receive only the workflow nodes and edges you authored, excluding the ones compiled from structured procedures. Defaults totrue, so existing callers are unchanged. - Branch rebasing from any branch: Rebase branch and Preview rebase accept an optional
source_branch_idto pull changes from a branch other than main. - Delete agents used as subagents: Delete agent accepts
force. Whentrue, the agent is deleted even if other agents use it as a subagent, and it is removed from those agents and their branches. - Sort agents by last update: List agents accepts
sort_by=updated_at, and each agent summary includesupdated_at_unix_secs, the last time the main branch or agent-level settings changed. - Google Calendar event updates: The Google Calendar integration adds
google_calendar_update_eventandgoogle_calendar_delete_eventtools. Both are privileged tools that can change or cancel any event on the connected calendar.
Music and Sound Effects
- Zero Retention Mode: Music generation, composition plan, stem separation and video to music endpoints, plus Sound Effects, accept
enable_logging=falseto use Zero Retention Mode. Zero Retention Mode is available to enterprise customers. Music requests that setstore_for_inpainting=trueare rejected in this mode. - WAV output for sound effects: Sound Effects accepts
wav_8000,wav_16000,wav_22050,wav_24000,wav_32000,wav_44100andwav_48000output formats.
Speech Engine
- 40-minute conversations: Speech Engine supports conversations of up to 40 minutes. The default limit remains 10 minutes. Raise
conversation.max_duration_secondsto allow longer conversations. - Sort by last update: List Speech Engines accepts
sort_by=updated_at, and each summary includesupdated_at_unix_secs.
Dubbing
- Subtitles for dubbed languages: Dubbing project language outputs (
GET /v1/dubbing/project/{project_id}/language/{language_id}) includesubtitles, a signed URL to the translated lines as WebVTT subtitles timed to the source speech. The URL expires one hour after it is issued.
Voices
- Resubmittable voice reviews: Voice sharing
review_statusaddsdeclined_resubmittablefor declined voices that can be resubmitted for review.
Workspaces
- Disable service account API keys: Disable service account API key disables a service account API key without changing its other settings. It remains available after a workspace downgrades from a plan that includes service accounts.
- Group concurrency limits: List workspace groups and List service accounts return
group_concurrency_limit,group_dubbing_concurrency_limitandgroup_music_concurrency_limitfor each group, and group permissions addall_resources_access.
SDK releases
JavaScript SDK
- v2.74.0 - Added
client.conversationalAi.realtime.createClientSecretfor the Realtime API, with theRealtimeModeland OpenAI-compatible session configuration types, and anenvironmentsclient withlist,createanddelete. Also addsforceon agent deletion,sourceBranchIdon branch rebase and rebase preview,includeProcedureGeneratedWorkflowElementson agent reads,enableLoggingon Music and Sound Effects methods, WAV output formats for Sound Effects, service account API keydisable, and Twilio answering machine detectionactions. - v2.73.0 - Added
createAndWaithelpers for Flows image, video and Text to Speech generations and template runs (client.flows.templates.runs.createAndWait). They create the request and poll until it completes or fails, pacing requests with the server’sRetry-Afterheader. Afailedresult is returned rather than thrown, andwaitTimeoutInSecondsthrowsFlowsWaitTimeoutErrorif the work is not finished in time. The regenerated client adds the Video to musicadd_sfx,separate_tracksanduse_audio_as_referenceoptions.
Python SDK
- v2.74.1 -
music.compose_detailednow accepts and forwardsenable_logging, which the custom wrapper previously dropped, so Zero Retention Mode works with this method. - v2.74.0 - Added
client.conversational_ai.realtime.create_client_secretfor the Realtime API and anenvironmentsclient, with the same regenerated API changes as JavaScript SDK v2.74.0. - v2.73.0 - Added
create_and_waithelpers for Flows image, video and Text to Speech generations and template runs, for both sync and async clients, withwait_timeout_in_secondsandmin_poll_interval_in_secondsoptions and aFlowsWaitTimeoutErrorexported fromelevenlabs.flows_custom. Type checkers such as pyright now resolveclient.webhooks.construct_event,client.speech_to_text.realtime,client.text_to_speech.convert_realtimeand the custom Music methods. Includes the same regenerated API changes as the JavaScript SDK. - v2.73.1 - Fixed the test suite on Python 3.13 and later, and added Python 3.13 and 3.14 to CI.
ElevenLabs CLI
- v1.7.0 - Regenerated API commands, adding environments, realtime client secrets and service account API key disabling.
- v1.6.0 - Added
create-and-waitcommands forflows image,flows video,flows text-to-speechandflows templates runs. Each command returns a finished result, with--wait-timeoutand--min-poll-intervaloptions. - v1.5.1, v1.5.2, v1.5.3 and v1.6.1 - Bug fixes for onboarding, including Windows support.
Packages
- @elevenlabs/client@1.28.0 - Added the experimental
persistentSessionoption for resumable text conversations over WebSocket, and theonConversationHistorycallback for the transcript the server replays on resume. WebSocket sessions now also emitonConversationMetadata. - @elevenlabs/react@1.18.0 - Forwards the experimental
onConversationHistorycallback to@elevenlabs/client. - @elevenlabs/types@0.25.0 - Added the
conversation_historyserver event and thepersistent_session_tokenfield onconversation_initiation_metadata. - @elevenlabs/react-native@1.2.30 - Updated to
@elevenlabs/client@1.28.0and@elevenlabs/react@1.18.0. - @elevenlabs/convai-widget-core@0.20.0 and @elevenlabs/convai-widget-embed@0.20.0 - Added the
persistent-sessionattribute. Text conversations survive a dropped connection or a page reload: the widget keeps the transcript, reopens the chat, renders the history replayed by the server and resumes the conversation. End chat discards the stored conversation. Workspaces without persistent sessions fall back to a standard conversation. - @elevenlabs/convai-widget-core@0.19.1 and @elevenlabs/convai-widget-embed@0.19.1 - First message quick replies are shown below the first message in voice calls.
API
View API changes
New endpoints
ElevenAgents
-
Create realtime client secret -
POST /v1/convai/realtime/client_secrets- Create an ephemeral client secret for browser-based Realtime API sessions. Accepts an optionalsession(OpenAI-compatible session configuration withmodelofeleven_realtime_v1_mini(default) oreleven_realtime_v1_max,instructions,audio,tools,turn_detectionandmax_duration_secondsfrom 60 to 7,200, default 600) and optionalexpires_afterwith requiredseconds(integer). Returnsvalue(string),expires_at(integer) and the echoedsession. -
List environments -
GET /v1/convai/environments- List the workspace environments, includingproduction. Each environment hasname, nullableupdated_at_unix_secsand nullablecreated_by_user_id. -
Create environment -
POST /v1/convai/environments- Create an environment with a required, uniquename(string). Returns409if the name is taken. -
Delete environment -
DELETE /v1/convai/environments/{environment}- Delete an environment and remove its values from all environment variables. Returns204.
Workspaces
- Disable service account API key -
POST /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}/disable- Disable a service account API key without changing its other settings.
Updated endpoints
ElevenAgents
- Get agent, Update agent, Preview rebase and Preview merge
- Added optional
include_procedure_generated_workflow_elements(boolean, defaulttrue). Whenfalse, the returned workflow contains only authored nodes and edges, without those generated from structured procedures.
- Added optional
- Create agent, Get agent and Update agent
- The
llmenum addsgemini-4-argon,claude-opus-4-6andnemotron-35-super-vl-nvfp4. - TTS configuration
effectsremoves the deprecatedseedfield.
- The
- Delete agent - Added optional
force(boolean, defaultfalse). - List agents -
sort_byaddsupdated_at. Agent summaries add requiredupdated_at_unix_secs(integer). - Rebase branch and Preview rebase - Added optional
source_branch_id(string). Defaults to the agent’s main branch. - Outbound call, Submit batch call and Get batch call
- Twilio machine detection configuration adds
actions, an array of rules with requiredaction(hang_up) and requiredanswered_by(array ofhuman,fax,unknown,machine_start,machine_end_beep,machine_end_silenceormachine_end_other). Each action can appear in at most one rule.
- Twilio machine detection configuration adds
- Get conversation details
- Transcript tool calls add nullable
tool_id(string). It is not set for tools without an ID, such as system tools. - Turn metrics add nullable
voice_id(string). - Tool results add nullable
to_agentandto_node(string). - WhatsApp conversation info adds nullable
recipientwith nullablephoneandbsuid(string), and nullablecall_permission_requestwith requiredstate(blocked,sent,acceptedordeclined) and nullablerequested_at_unix(integer). - The platform charge category enum adds
v3_addon,v4_addonandrag_addon.
- Transcript tool calls add nullable
- Get ticket, List tickets and List workspace tickets
- Ticket responses add required
status_changes, an array of objects withstatus, nullablechanged_by_user_id(string) andchanged_at_unix_secs(integer).
- Ticket responses add required
Text to Speech and Text to Dialogue
- Create speech, Stream speech, Create dialogue and Stream dialogue, including their timestamp variants -
use_pvc_as_ivcis now nullable and no longer declares a default offalse.
Music
- Compose music, Compose detailed, Stream music, Compose detailed stream, Separate stems, Video to music and
POST /v1/music/plan- Added optional
enable_loggingquery parameter (boolean, defaulttrue). Set it tofalsefor Zero Retention Mode.
- Added optional
- Video to music - Added optional
add_sfx,separate_tracksanduse_audio_as_reference(boolean, defaultfalse).
Sound Effects
- Create sound effect
- Added optional
enable_loggingquery parameter (boolean, defaulttrue). output_formataddswav_8000,wav_16000,wav_22050,wav_24000,wav_32000,wav_44100andwav_48000.
- Added optional
Speech Engine
- List Speech Engines -
sort_byaddsupdated_at. Summaries add requiredupdated_at_unix_secs(integer).
Speech to Text
- Create transcript and Get transcript - Edited transcripts add required, read-only
edited_text(string), matchingtextand theedited_textfield of the realtimeedited_transcriptevent.
Dubbing
GET /v1/dubbing/project/{project_id}/languageandGET /v1/dubbing/project/{project_id}/language/{language_id}- Language outputs add nullablesubtitles(string, signed URL).
Voices
- Get voice, List voices and Get voices - Voice sharing
review_statusaddsdeclined_resubmittable.
Workspaces
- List workspace groups and List service accounts
- Groups add nullable
group_concurrency_limit,group_dubbing_concurrency_limitandgroup_music_concurrency_limit(integer orunlimited). - Group permissions add
all_resources_access.
- Groups add nullable
ElevenAgents
- Merge and search triage tickets: Merge tickets folds up to 50 open tickets from the same agent into one target ticket. Merged tickets keep the status
mergedand reference the target throughmerged_into_ticket_id. List tickets and List workspace tickets add a case-insensitivesearchparameter that matches ticket titles, descriptions, comments and turn comments, and each result includes asearch_matchexcerpt showing where the query matched. - Workflow End node outcomes: Workflow End nodes accept an
outcomeofsuccess(default) orfailure, so a workflow can record whether a conversation ended successfully. The conversation error type addsworkflow_end_failure. - Call queueing enabled for new agents: New agents are created with call queueing enabled unless
platform_settings.queueing_config.enabledis set explicitly. Existing agents keep their current setting. - Post-call audio webhook retries: When Enable retries is on,
post_call_audiowebhooks are retried on the same schedule as transcription webhooks. Audio payloads over 50 MiB are not retried, and queued audio retries are capped at 400 MiB per webhook. - Strict tool overrides: The conversation override
tool_ids_strictmakes an overriddentool_idslist the complete set of tools available in the conversation, including tools on workflow nodes. It is ignored when set on the agent itself. - Widget end confirmation: The widget can ask users to confirm before ending a chat or call. Enable it with
end_confirmation_enabledin the widget configuration or theend-confirmationattribute.
Text to Speech
- Audio effects: Text to Speech and Text to Dialogue requests accept an optional
audio_effectsobject. It applies a filter preset, perceived distance, a reverb environment, a looped background noise bed and stereo panning to the generated audio. List valid preset, environment and background noise IDs withGET /v1/audio-effects/catalog. Reverb and non-zero panning produce stereo audio and are rejected forulaw_*,alaw_*andpcm_*output formats. Effects do not change the cost of a request.
Speech to Text
- Turn prediction commit strategy: The realtime Speech to Text WebSocket adds
turn_predictionas acommit_strategyvalue. In addition to silence-based segmentation, it commits a segment as soon as the model predicts the speaker has finished their turn. It is the default for models that predict turns, and partial transcripts from those models includeturn_probability. See transcripts and commit strategies.
Voices
- Voice collections API: Voice collections can now be managed through the API. Create, list, update and delete collections, and add or remove voices. See List voice collections.
Workspaces
- Basic seat fallback: Update member accepts
allow_downgrade_to_basic_seat. When unlocking a user whose original seat type has no seats available, the user is moved to a basic seat instead of the request failing. - Workspace ID on user: Get user returns the
workspace_idof the workspace the API key belongs to.
SDK releases
JavaScript SDK
- v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept
audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds theturn_predictioncommit strategy.
Python SDK
- v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept
audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds theturn_predictioncommit strategy.play()andsave()now accept any iterable of audio chunks, such as a list or tuple.RealtimeEvents.CLOSEhandlers receive a dictionary with the WebSocket closecodeandreason; handlers without parameters continue to work.
ElevenLabs CLI
- v1.5.0 - Regenerated API commands, adding voice collections, the audio effects catalog, triage ticket merging and agent merge proposals.
Packages
- @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0 - Added a
previousTextoption toScribe.connect()anduseScribe()in microphone mode. The text is sent with the first audio chunk to give the model context, such as existing document text, for casing, punctuation and sentence continuation.MediaDeviceOutputnow receiveslibsampleratePath, so output resampling uses the same custom libsamplerate bundle path asMediaDeviceInput. - @elevenlabs/react-native@1.2.29 - Updated to
@elevenlabs/client@1.27.0and@elevenlabs/react@1.17.0. - @elevenlabs/convai-widget-core@0.19.0 and @elevenlabs/convai-widget-embed@0.19.0 - Added an optional confirmation dialog before ending a chat or call, enabled with the
end-confirmationattribute orend_confirmation_enabledconfig, with customizable text. Added carousel rich content with scrollable item cards that can include an image, subtitle, description and actions. Carousels remain in the transcript after a reply, without their actions. Rich content is now shown during voice calls when the transcript is visible.
API
View API changes
New endpoints
ElevenAgents
- Merge tickets -
POST /v1/convai/triage-tickets/{agentqa_ticket_id}/merge- Merge open tickets into the target ticket. Requiressource_ticket_ids(string array, 1–50 items) and returns the target ticket.
Voices
- List voice collections -
GET /v1/voices/collections- List the voice collections the caller can access, sorted by title. - Create voice collection -
POST /v1/voices/collections- Create a collection with requiredtitleandicon(string, maximum 1,000 characters each). - Get voice collection -
GET /v1/voices/collections/{collection_id}- Retrieve a collection with itstitle,iconand the caller’spermission_on_resource(admin,editor,commenterorviewer). - Update voice collection -
PATCH /v1/voices/collections/{collection_id}- Update the optionaltitleoricon. - Delete voice collection -
DELETE /v1/voices/collections/{collection_id} - Add voice to collection -
POST /v1/voices/collections/{collection_id}/voice/{voice_id} - Remove voice from collection -
DELETE /v1/voices/collections/{collection_id}/voice/{voice_id}
Audio effects
GET /v1/audio-effects/catalog- List the availablefilter_presets,environmentsandbackground_noises. Each entry has an ID, anameand a nullabledescription.
Updated endpoints
ElevenAgents
- Create agent, Get agent and Update agent
- Workflow End nodes add
outcome(successorfailure, defaultsuccess). The field is required in responses. - Standalone workflow agent nodes and agent transfer configurations add nullable
branch_id(string) to target a specific branch of the destination agent. When unset, the transfer follows the target agent’s traffic deployment. Transfer tool results add aconfiguredbranch reason. - Prompt override configurations add
tool_ids_strict(boolean, defaultfalse). - TTS configuration
effectsaddpan(number, -1 to 1, default0). Theseedfield is deprecated and has no effect.
- Workflow End nodes add
- Get widget config - Added
end_confirmation_enabled(boolean, defaultfalse). - List tickets
- Added optional
search(string, maximum 200 characters) andmerged_into_ticket_id(string) query parameters. - Ticket responses add nullable
merged_into_ticket_idand nullablesearch_matchwithfield(title,description,commentorturn_comment),snippet,highlight_start,highlight_endand nullableturn_index.
- Added optional
- List workspace tickets - Added optional
agent_id,sources,priorities,sort_by(created_atorpriority, defaultcreated_at),owner_user_id,issue_type,label,merged_into_ticket_idandsearchquery parameters. - List tests - Added optional
created_by_user_id(string). Use@mefor the authenticated user. - List test invocations - Added optional
test_id(string),version_id(string),start_timeandend_time(integer, Unix seconds, inclusive) query parameters. - Update agent branch - Added optional
auto_rebase(boolean). Branch responses addauto_rebase(boolean, defaultfalse). - Get conversation details
- Twilio, SIP trunk and Exotel phone call metadata add nullable
call_resultwithanswered,voicemail,busy,no_answerandfailedvalues. - Batch call metadata adds nullable
cold_attempt(integer) and nullableconversation_type(initial,retry,callbackorredirect). - The conversation error type adds
workflow_end_failure.
- Twilio, SIP trunk and Exotel phone call metadata add nullable
- Knowledge base auto-sync
auto_discoveris deprecated and no longer has any effect.
Text to Speech
- Create speech, Stream speech, Create speech with timing and Stream speech with timing
- Added optional nullable
audio_effectswithfilter_preset_id(string),distance(number, 0–1, default0),environment_id(string),background_noise_id(string),send_level(number, 0–1, default1) andpan(number, -1 to 1, default0). - Unknown effect IDs return
404. Stereo effects return400forulaw_*,alaw_*andpcm_*output formats.
- Added optional nullable
Text to Dialogue
- Create dialogue, Stream dialogue, Create dialogue with timestamps and Stream dialogue with timestamps - Added optional nullable
audio_effects, matching the Text to Speech endpoints.
Speech to Text
- Realtime Speech to Text
- The
commit_strategyquery parameter addsturn_prediction, alongsidemanualandvad. partial_transcriptmessages add optionalturn_probability(number), sent only for models that predict turns.
- The
Music
POST /v1/music/video-to-music- Responses add asong-idheader with the ID of the generated song.
History
- List generated items - The history item
sourceenum addsVoicePreview.
Workspace and user
- Update member - Added optional
allow_downgrade_to_basic_seat(boolean, defaultfalse). - Get user - Added required
workspace_id(string). - Service account API key permissions add
voice_collections_readandvoice_collections_write.
ElevenAgents
- 구조화된 절차는 저장 및 게시 시 컴파일됩니다: 이제 에이전트 업데이트 및 에이전트 초안 생성이 구조화된 절차를 자동으로 컴파일하고 검증합니다. 더 이상 통합에서 컴파일 엔드포인트를 호출하거나 생성된 워크플로를 수동으로 업데이트할 필요가 없습니다. 유효하지 않은 절차는
400 procedure_validation_failed로 절차별 오류를 반환합니다. 구조화된 절차가 없는 에이전트는 영향을 받지 않습니다. - 절차 컴파일 엔드포인트는 레거시입니다: 절차 컴파일은 레거시로 표시되며 새 통합에서 사용하면 안 됩니다. 기존 호출자에게는 계속 제공됩니다.
- 병합 제안: 병합 제안은 알파 버전으로 제공됩니다. 팀은 에이전트 브랜치에 대한 제안을 열고, 구성 변경 사항과 테스트 결과를 검토하며, 댓글이나 승인 결정을 남기고, 승인된 변경 사항을 대상 브랜치에 병합할 수 있습니다. 병합 제안을 참조하세요.
SDK 릴리스
JavaScript SDK
- v2.71.0 - 에이전트 병합 제안, 배포 기록, 테스트 호출 취소, Speech Engine 복제용 클라이언트를 추가했습니다. 또한 트리아지 티켓 우선순위 및 정렬, 배치 통화 내보내기 제한,
gpt-6.1-sol,claude-sonnet-5-5, Eleven v4 에이전트 음성 모델 및 최신 에이전트 구성 타입을 추가했습니다.
Python SDK
- v2.71.0 - 에이전트 병합 제안, 배포 기록, 테스트 호출 취소, Speech Engine 복제용 클라이언트를 추가했습니다. 또한 트리아지 티켓 우선순위 및 정렬, 배치 통화 내보내기 제한,
gpt-6.1-sol,claude-sonnet-5-5, Eleven v4 에이전트 음성 모델 및 최신 에이전트 구성 타입을 추가했습니다.
Swift SDK
- v3.4.0 - 이제 동적 변수가 대화 시작 데이터로 전송될 때 네이티브 JSON 타입을 유지합니다.
패키지
- @elevenlabs/client@1.26.0, @elevenlabs/react@1.16.0, @elevenlabs/react-native@1.2.28, @elevenlabs/types@0.24.0 -
transcriptEdit,edited_transcript이벤트, React의onEditedTranscript콜백을 통해 실시간 음성-텍스트 변환 트랜스크립트 편집을 추가했습니다. 이제 React는filterBackgroundAudio를 실시간 세션으로 전달합니다. 클라이언트는MessagePayload도 내보내며, 중복 에이전트 답변을 방지하기 위해 안정적인 응답 ID를 사용합니다. - @elevenlabs/convai-widget-core@0.18.3 및 @elevenlabs/convai-widget-embed@0.18.3 - 첨부 파일만 있는 답변을 포함해 에이전트 메시지 첨부 파일의 이미지 미리 보기와 다운로드 링크를 추가했습니다. 안정적인 응답 ID가 중복 답변을 방지하며, 이제 텍스트 전용 대화에서는 채팅 종료 툴팁이 있는 중지 컨트롤을 사용합니다.
API
API 변경 사항 보기
새 엔드포인트
ElevenAgents
- 병합 제안 생성 -
POST /v1/convai/agents/{agent_id}/merge-proposals- 필수source_branch_id,target_branch_id,title필드와 선택적 설명, 검토자 ID, 트리아지 티켓 ID로 제안을 생성합니다. - 병합 제안 나열 -
GET /v1/convai/agents/{agent_id}/merge-proposals- 상태, 소스 브랜치, 대상 브랜치, 텍스트 필터 및 커서 페이지네이션으로 제안을 나열합니다. - 병합 제안 가져오기 -
GET /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}- 제안과 검토, 댓글, 결과 세부 정보를 조회합니다. - 병합 제안 업데이트 -
PATCH /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}- 제목, 설명 또는 요청된 검토자를 업데이트하거나 병합하지 않고 닫습니다. - 병합 제안 검토 -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/reviews- 선택적 댓글과 함께approved또는changes_requested결정을 제출합니다. - 병합 제안에 댓글 달기 -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/comments- 최대 4,096자의 Markdown 댓글을 추가합니다. - 병합 제안 병합 -
POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/merge- 소스 브랜치를 병합하고, 필요에 따라 강제 충돌 해결 및 소스 브랜치 보관을 제어합니다. - 에이전트 배포 나열 -
GET /v1/convai/agents/{agent_id}/deployments- 페이지 기반 페이지네이션으로 현재 및 과거 브랜치 트래픽 분할을 나열합니다. - 테스트 호출 취소 -
POST /v1/convai/test-invocations/{test_invocation_id}/cancel- 실행 중인 테스트 호출을 취소합니다.
Speech Engine
- Speech Engine 복제 -
POST /v1/speech-engine/{speech_engine_id}/duplicate- Speech Engine을 복제하고, 선택적으로 사본에 새name을 할당합니다.
업데이트된 엔드포인트
ElevenAgents
- 에이전트 생성, 에이전트 가져오기, 에이전트 업데이트
LLM열거형에gpt-6.1-sol및claude-sonnet-5-5를 추가했습니다.- 대화형 TTS 모델 옵션에
eleven_v4및eleven_v4_turbo를 추가했습니다. 기본값은eleven_flash_v2에서eleven_v4_turbo로 변경되었습니다. - 에이전트 전송 및 독립형 워크플로 에이전트 노드에 전송 후 기본 음성, TTS 모델 및 음성 설정을 유지하는 선택적
preserve_voice_settings(불리언, 기본값false)를 추가했습니다. - 턴 건너뛰기 도구 구성에 선택적
wait_timeout_secs(숫자, 기본값-1)를 추가했습니다. 값이-1이면 발신자가 말할 때까지 에이전트가 무음 상태를 유지합니다. - 통화 후 웹훅 구성에 JSON 트랜스크립션 웹훅에서 턴별 트랜스크립트를 생략하는 선택적
exclude_transcript(불리언, 기본값false)를 추가했습니다. - 대화 기록 수정 구성에 근거를 수정하는 동안 선택한 추출 값을 유지하는 선택적
excluded_data_collection_ids(문자열 배열, 최대 50개)를 추가했습니다. - 이제 클라이언트 도구
response_timeout_secs는expects_response가 활성화된 경우 무기한 대기하도록-1을 허용합니다.
- 티켓 나열
low,medium,high,urgent값을 포함하는 선택적priorities(배열)를 추가했습니다.created_at및priority값을 갖는sort_by를 추가했으며, 기본값은created_at입니다.- 이제 티켓 응답에는
title, nullablepriority,priority_changes배열이 필요합니다. 티켓 생성 및 업데이트 요청에서priority를 설정할 수 있으며, 티켓 상태에cancelled가 추가되었습니다.
- 도구 나열 - 에이전트의 기본 브랜치에서 참조되는 도구를 반환하는 선택적 nullable
used_by_agent_id(문자열)를 추가했습니다. - 배치 통화 결과 내보내기 - 첫 번째 수신자만 열 미리 보기로 내보내는 선택적 nullable
limit(정수, 최소1)를 추가했습니다. - 테스트 호출 나열 및 테스트 호출 가져오기
- 테스트 호출 요약에 필수
cancelled_count(정수) 및 선택적cancelled(불리언, 기본값false)를 추가했습니다. - 테스트 실행 상태에
cancelled를 추가했습니다.
- 테스트 호출 요약에 필수
- 대화 세부 정보 가져오기 - 트랜스크립트 항목에
user_turn_timeout및skip_turn_wait_elapsed값을 갖는 선택적 nullableplatform_event를 추가했습니다. - 에이전트 버전 메타데이터 가져오기 - 기본 브랜치에 병합된 변경 사항을 게시한 사람을 설명하는 배열인 선택적 nullable
merged_authors를 추가했습니다. - 크롤 작업 가져오기 - 지원 중단된
max_depth응답 필드를 제거했습니다.
Eleven v4 및 Eleven v4 Turbo
이제 Eleven v4 및 Eleven v4 Turbo를 사용할 수 있습니다. Eleven v4는 90개 이상의 언어에서 더 높은 품질과 표현력이 풍부한 음성, 향상된 음성 복제를 제공합니다. Eleven v4 Turbo는 실시간 애플리케이션을 위한 동일한 모델 제품군으로, 중앙값 추론 지연 시간은 약 100ms입니다.
콘텐츠 제작 및 장문 오디오에는 Text to Dialogue API를 통해 eleven_v4를 사용하세요. 에이전트 및 인터랙티브 애플리케이션에는 Text to Dialogue WebSocket을 통해 eleven_v4_turbo를 사용하세요.
음성-텍스트 변환
- 트랜스크립트 편집: 이제 배치 및 실시간 트랜스크립션에서 최대 2,000자의 자연어 편집 지시문을 받을 수 있습니다. 배치 응답은
edited_transcript에 결과를 반환하며, 실시간 세션은edited_transcript이벤트를 내보냅니다. 호환되지 않는 기능, 응답 처리 및 가격은 배치 및 실시간 가이드를 참조하세요.
ElevenAgents
- 에이전트 모델: 지원되는 에이전트 LLM 옵션에
gpt-6-sol,gpt-6-luna,glm-52,deepseek-v41-flash,claude-opus-5,claude-opus-5-5를 추가했습니다. - 에이전트 테스트 사용량: 테스트 호출 요약에 총 크레딧 및 USD 가격을 포함할 수 있습니다. 개별 테스트 실행에는 크레딧 및 과금 내역을 포함할 수 있습니다.
Flows
- 템플릿 API: 게시된 Flows 템플릿을 나열하고 검색하며, 템플릿 실행을 시작하고 실행 결과를 조회하는 엔드포인트를 추가했습니다. 실행은 게시된 버전을 대상으로 할 수 있으며, 최종 결과를 구성된 웹훅으로 전송할 수 있습니다.
Text to Dialogue
- 생성 연속성: Text to Dialogue 요청에서 이전 또는 이후 텍스트와 요청 ID를 사용해 여러 생성 간 연속성을 유지할 수 있습니다.
- 프로페셔널 음성 모드: Text to Dialogue 요청에서 프로페셔널 음성 복제의 즉석 음성 복제 버전을 사용해 지연 시간을 줄이거나 표현력을 높일 수 있습니다.
SDK 릴리스
JavaScript SDK
- v2.70.0 - 배치 및 실시간 음성-텍스트 변환 트랜스크립트 편집 타입, 테스트 호출 요약용
branchId필터링 및 비용 필드, 지식 베이스 자동 검색, Text to DialogueusePvcAsIvc,deepseek-v41-flash에이전트 모델을 추가했습니다.
Python SDK
- v2.70.0 - 배치 및 실시간 음성-텍스트 변환 트랜스크립트 편집 타입, 테스트 호출 요약용
branch_id필터링 및 비용 필드, 지식 베이스 자동 검색, Text to Dialogueuse_pvc_as_ivc,deepseek-v41-flash에이전트 모델을 추가했습니다.
ElevenLabs CLI
- v1.4.0 - 명시적 API 키를 사용하는 요청이 저장된 OAuth 자격 증명도 함께 전송하여 인증에 실패하던 문제를 수정했습니다. 피드백 명령 그룹에 설명을 추가하고, 생성된 에이전트 스킬에서 누락된 기능을 신고하는 방법을 추가했습니다. Flows 템플릿 엔드포인트 및 최신 스키마 타입으로 API 클라이언트를 다시 생성했습니다.
API
API 변경 사항 보기
새 엔드포인트
Flows
- 템플릿 나열 -
GET /v1/flows/templates- 게시된 템플릿과 실행 가능한 버전을 나열합니다. - 템플릿 가져오기 -
GET /v1/flows/templates/{template_id}- 템플릿과 실행 가능한 버전을 조회합니다. - 템플릿 실행 생성 -
POST /v1/flows/templates/{template_id}/runs- 입력 값, 선택적 버전 및 선택적 웹훅으로 템플릿 실행을 시작합니다. - 템플릿 실행 나열 -
GET /v1/flows/templates/{template_id}/runs- 커서 페이지네이션 및 선택적 버전 필터링으로 템플릿 실행을 나열합니다. - 템플릿 실행 가져오기 -
GET /v1/flows/templates/{template_id}/runs/{run_id}- 템플릿 실행과 출력 상태를 조회합니다.
업데이트된 엔드포인트
음성-텍스트 변환
- 음성을 텍스트로 변환 -
POST /v1/speech-to-text- 최대 2,000자의 자연어 편집 지시문을 받을 수 있는 선택적 nullable
transcript_edit(문자열)를 추가했습니다. - 응답에 선택적 nullable
edited_transcript를 추가했습니다. 편집에 성공하면 필수kind: "transcript"및text필드가 포함됩니다. 편집에 실패하면 필수kind: "error",error_type: "edit_failed",message필드가 포함됩니다.
- 최대 2,000자의 자연어 편집 지시문을 받을 수 있는 선택적 nullable
- 실시간 음성-텍스트 변환은
transcript_edit(문자열)를 수락하고 필수text및edited_text필드가 있는edited_transcript이벤트를 내보냅니다.
ElevenAgents
- 에이전트 생성, 에이전트 가져오기, 에이전트 업데이트
LLM열거형에gpt-6-sol,gpt-6-luna,glm-52,deepseek-v41-flash,claude-opus-5,claude-opus-5-5를 추가했습니다.- 알림 모니터에 모니터의 알림 전송 여부를 제어하는 선택적 nullable
enabled(불리언)를 추가했습니다.
- 대화 나열 및 텍스트 검색
data_collection_params및dynamic_variable_params에neq및in연산자를 추가했습니다.in의 값은 파이프 구분 기호를 사용합니다.evaluation_params는 결과 값으로success,failure또는unknown을 허용합니다.
- 스마트 검색 -
GET /v1/convai/conversations/messages/smart-search- 선택적 nullable
branch_id(문자열)를 추가했습니다.
- 선택적 nullable
- 테스트 호출 나열 -
GET /v1/convai/test-invocations- 선택적 nullable
branch_id(문자열)를 추가했습니다. - 테스트 호출 요약에 선택적 nullable
credits_used(정수) 및total_price(숫자)를 추가했습니다.
- 선택적 nullable
- 테스트 호출 가져오기 -
GET /v1/convai/test-invocations/{test_invocation_id}- 개별 테스트 실행에 선택적 nullable
credits_used(정수) 및charging(ConversationChargingCommonModel)을 추가했습니다.
- 개별 테스트 실행에 선택적 nullable
- 대화 시뮬레이션 및 대화 스트림 시뮬레이션
- 선택적
new_turns_limit기본값을10,000에서100으로 변경하고 최대값을100으로 설정했습니다.
- 선택적
- 크롤 작업 생성 및 크롤 작업 가져오기
- 자동 동기화 중 링크를 따라가 새로 발견된 페이지를 추가하는 선택적
auto_discover(불리언, 기본값false)를 추가했습니다. 이를 사용하려면enable_auto_sync: true가 필요합니다.
- 자동 동기화 중 링크를 따라가 새로 발견된 페이지를 추가하는 선택적
- 지식 베이스 문서 새로 고침 -
POST /v1/convai/knowledge-base/{documentation_id}/refreshAutoSyncInfo에 새로 고침 시 새로 발견된 페이지를 크롤링하고 추가하는지 나타내는 선택적auto_discover(불리언, 기본값false)를 추가했습니다.
- MCP 서버 도구 나열 -
GET /v1/convai/mcp-servers/{mcp_server_id}/tools- 응답에 선택적
tool_approval_statuses(배열)를 추가했습니다. 각 항목에는 필수tool_id(문자열)와state(up_to_date,needs_review또는not_approved)가 포함되며, 선택적 승인 정책 및 승인된 정의 필드가 포함됩니다.
- 응답에 선택적
Text to Dialogue
- 텍스트를 대화로 변환, 텍스트를 대화로 스트리밍, 타임스탬프와 함께 변환, 타임스탬프와 함께 스트리밍
- 프로페셔널 음성 복제의 즉석 음성 복제 버전을 사용하는 선택적
use_pvc_as_ivc(불리언, 기본값false)를 추가했습니다. - 생성 연속성을 위해 선택적 nullable
previous_text및future_text(문자열, 최대 100자)와previous_request_ids및next_request_ids(문자열 배열, 최대 3개 ID)를 추가했습니다. - 선택적
settings객체에 nullablesimilarity(숫자, 0~1, 기본값0.75)를 추가했습니다.
- 프로페셔널 음성 복제의 즉석 음성 복제 버전을 사용하는 선택적
텍스트 음성 변환
- 텍스트를 음성으로 변환, 텍스트를 음성으로 스트리밍, 타임스탬프와 함께 변환, 타임스탬프와 함께 스트리밍
- 기존
use_pvc_as_ivc필드는 더 이상 지원 중단되지 않습니다.
- 기존
Flows
보이스 디자인
- 미리 보기에서 음성 생성, 음성 미리 보기 생성, 음성 디자인, 음성 리믹스
- 미리 보기용 생성이 이미 진행 중인 경우
409응답을 추가했습니다. 이 응답을 받은 후 요청을 다시 시도하세요.
- 미리 보기용 생성이 이미 진행 중인 경우
워크스페이스
- 서비스 계정 API 키 생성 -
POST /v1/service-accounts/{service_account_user_id}/api-keys- 엔터프라이즈 서비스 계정 API 키를 위한 선택적 nullable
tts_concurrency_limit,music_concurrency_limit,dubbing_concurrency_limit(정수)를 추가했습니다.
- 엔터프라이즈 서비스 계정 API 키를 위한 선택적 nullable
- 서비스 계정 API 키 업데이트 -
PATCH /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}- 선택적
tts_concurrency_limit,music_concurrency_limit,dubbing_concurrency_limit를 추가했습니다. 각 필드는 정수,clear,no_update,null을 허용하며 기본값은no_update입니다.
- 선택적
모델
- 모델 나열 -
GET /v1/models- 필수
max_characters_request_free_user및max_characters_request_subscribed_user를 지원 중단했습니다. 이 필드는 적용되지 않으므로 대신maximum_text_length_per_request를 사용하세요.
- 필수
이미지 & 비디오
- Sora 2 및 Sora 2 Pro 지원 종료: OpenAI는 2026년 9월 24일 Sora API를 중단합니다. 두 모델은 이미지 & 비디오 모델 선택기에서 제거되었으며, 해당 날짜에 생성을 중단합니다. 기존 생성물은 기록에서 계속 사용할 수 있습니다. Sora 노드를 사용하는 Flows 및 템플릿은 다시 실행하려면 Gemini Omni 1.1 Flash와 같은 다른 비디오 모델로 전환해야 합니다.
- Seedance 1.5 Pro 지원 중단: ByteDance는 2026년 11월 11일 Seedance 1.5 Pro를 종료합니다. 이 모델은 더 이상 새 생성에 제공되지 않으며 해당 날짜에 작동을 중단합니다. 대신 Seedance 2.0 모델을 사용하세요.
ElevenAgents
- 병렬 도구 호출: 이제 에이전트 프롬프트 구성에
enable_parallel_tool_calls(불리언, 기본값true)가 포함됩니다. 활성화하면 지원되는 모델은 한 턴에서 여러 도구를 실행할 수 있습니다. - 에이전트 모델: 에이전트 LLM 옵션에
gpt-6-astra를 추가했습니다. - 알림: 이제 에이전트 알림에서 PagerDuty 및 webhook 알림과 함께 Slack 채널을 지원합니다.
- 전화번호 검색: 제공업체, 발신 지원, 할당된 에이전트 및 브랜치, 라벨, 전화번호 필터를 갖춘 커서 페이지네이션 전화번호 엔드포인트를 추가했습니다.
이미지 및 비디오
- GPT Image 2.5 모델: 이제 이미지 생성에서
gpt-image-2.5-flare및gpt-image-2.5-sunburst를 지원합니다. 두 모델 모두 최대 10개의 참조 이미지,max까지의 품질 수준,auto를 포함한 14개의 고정 가로세로비, 1K, 2K 또는 4K 출력을 지원합니다.
Speech Engine
- 캐스케이드 시간 초과: 이제 Speech Engine 생성 및 업데이트 요청에서
cascade_timeout_seconds(숫자, 2–15, 기본값4)를 지원하여 재시도 전 ElevenLabs가 업스트림 음성 엔진을 대기하는 시간을 제어할 수 있습니다.
텍스트 음성 변환
- 멀티 컨텍스트 턴 경계: 이제
is_final_audio_for_turn마커가 MP3 및 Opus 출력을 포함해 해당 턴의 버퍼링된 모든 바이트 뒤에 전송됩니다. 클라이언트는 PCM으로 전환하지 않고도 이 마커를 정확한 턴 경계로 사용할 수 있습니다.
SDK 릴리스
JavaScript SDK
- v2.69.0 - 실시간 Speech to Text 래퍼에
transcriptEdit를 추가했으며, 편집된 텍스트는edited_transcript이벤트를 통해 전달됩니다. 데이터 레지던시 접미사가 있는 API 키에 대한 Speech Engine JWT 검증을 수정했습니다. 템플릿을 나열하고 가져오며 실행을 나열, 생성, 가져오는phoneNumbers.listV2및 Flows 템플릿 메서드를 추가했습니다. GPT Image 2.5, Slack 에이전트 알림, 병렬 도구 호출,gpt-6-astra, 서비스 계정 API 키 동시성 제한, Music 제로 보존, 대화 필터, MCP 도구 승인 상태를 위한 클라이언트와 타입을 재생성했습니다.
Python SDK
- v2.69.0 - 실시간 Speech to Text 래퍼에
transcript_edit를 추가했으며, 편집된 텍스트는edited_transcript이벤트를 통해 전달됩니다. 데이터 레지던시 접미사가 있는 API 키에 대한 Speech Engine JWT 검증을 수정하고,ffplay가 실패하면play가 오류를 발생시키도록 했습니다. 템플릿을 나열하고 가져오며 실행을 나열, 생성, 가져오는phone_numbers.list_v2및 Flows 템플릿 메서드를 추가했습니다. GPT Image 2.5, Slack 에이전트 알림, 병렬 도구 호출,gpt-6-astra, 서비스 계정 API 키 동시성 제한, Music 제로 보존, 대화 필터, MCP 도구 승인 상태를 위한 클라이언트와 타입을 재생성했습니다.
ElevenLabs CLI
- v1.3.2 - CLI 사용에 대한 피드백을 수집할 수 있도록 선택적
--intent메타데이터를 추가했습니다. CLI에서 지원하지 않는 워크플로를 신고할 수 있도록elevenlabs feedback missing-capability를 추가했습니다.
API
API 변경 사항 보기
새 엔드포인트
ElevenAgents
- 전화번호 페이지 나열 -
GET /v1/convai/v2/phone-numbers- 선택적
page_size(정수, 1–1,000, 기본값100) 및cursor(nullable 문자열) 페이지네이션 매개변수를 추가했습니다. - 선택적
search,label,phone_number,provider,supports_outbound,agent_id,branch_id,sort_by,sort_direction필터를 추가했습니다.sort_by는label또는phone_number를 지원하며,sort_direction의 기본값은asc입니다. - 응답에는 필수
phone_numbers(배열), 선택적 nullablenext_cursor(문자열),has_more(불리언, 기본값false)가 포함됩니다.
- 선택적
업데이트된 엔드포인트
ElevenAgents
- 에이전트 생성, 에이전트 가져오기 및 에이전트 업데이트
- 프롬프트 구성에
enable_parallel_tool_calls(불리언, 기본값true)를 추가했습니다. 워크플로 재정의는 nullable 불리언을 지원합니다. LLM열거형에 대화 시작 재정의를 포함하여gpt-6-astra를 추가했습니다.- 이제 알림 통합 알리미에서
integration_type을 사용하여pagerduty또는slack을 선택합니다. Slack 알리미에는connection_id및channel_id(문자열)가 필요하며,channel_id는 1~64자를 지원합니다.
- 프롬프트 구성에
- 대화 나열 및 대화 참조 확인
data_collection_params에서 더 이상missing연산자를 지원하지 않습니다. 필드가 수집되지 않은 대화를 일치시키려면 빈 값을 사용하세요.dynamic_variable_params의 빈 값은 변수가 설정되지 않은 대화와 일치합니다.
- Speech Engine 생성, Speech Engine 가져오기 및 Speech Engine 업데이트
cascade_timeout_seconds(숫자, 2–15)를 추가했습니다. 생성 요청의 기본값은4이며, 업데이트 요청은 nullable 값을 지원하고 응답에는 해당 필드가 필요합니다.
이미지 및 비디오
- 이미지 생성 만들기 -
POST /v1/flows/imagegpt-image-2.5-flare및gpt-image-2.5-sunburst를 위한 요청 변형을 추가했습니다.- 두 변형 모두
prompt및model_id가 필요하고, 최대 10개의images를 지원하며,resolution(1K,2K또는4K, 기본값1K)을 추가합니다. quality는low,medium,high,xhigh,max를 지원하며 기본값은high입니다.aspect_ratio는auto및 14개의 고정 비율을 지원하며 기본값은16:9입니다.
더빙
- 더빙 프로젝트 생성 -
POST /v1/dubbing/project- multipart
keyterms는 반복 필드 또는 단일 JSON 배열을 지원합니다. - multipart
webhook_ids는 반복 필드, 단일 JSON 배열 또는 쉼표로 구분된 문자열을 지원합니다.
- multipart
- 워크스페이스 리소스 가져오기, 워크스페이스 리소스 공유 및 워크스페이스 리소스 공유 해제
WorkspaceResourceType에dubbing_project를 추가했습니다.
지식 베이스
- 크롤 작업 생성 -
POST /v1/convai/knowledge-base/crawlmax_depth(정수, 기본값3)를 지원 중단했습니다. 이 필드는 이제 아무 작업도 수행하지 않으며 최소 또는 최대 제약 조건도 აღარ 이상 적용되지 않습니다.- 크롤 작업 메타데이터에서 더 이상
max_depth가 필요하지 않습니다.
사용자
스키마 변경 사항
텍스트 음성 변환
- 이제 멀티 컨텍스트 WebSocket
audio및final메시지에서is_final_audio_for_turn을 해당 턴의 버퍼링된 모든 바이트가 전달된 후 발생하는 것으로 정의합니다.
ElevenAgents
- 통화 대기열 및 대기 오디오: 동시 처리 한도에 도달한 에이전트를 위한 통화 대기열을 추가했습니다. 대기 중인 발신자는 대기 오디오를 듣고, 입장하거나 시간 초과될 때까지
queue_status이벤트를 수신합니다. 새 API 메서드로 사용자 지정 대기 오디오를 업로드하거나 삭제할 수 있습니다. - 테스트 버전 메타데이터: 이제 에이전트 테스트 결과에서 테스트를 실행한 에이전트 버전과 초안 변경 사항 포함 여부를 확인할 수 있습니다. 호출 요약에는 부분 재제출이 서로 다른 버전에서 실행된 경우도 표시됩니다.
- 모델 및 계정 메타데이터: 이제 에이전트 LLM 구성에서
gemini-3.8-flash를 지원합니다. WhatsApp 계정 응답에서 해당 계정이 Cloud API를 사용하는지, 공존 가입 플로를 사용하는지 확인할 수 있습니다.
음악
- Music v2.5 API 지원: 이제 음악 엔드포인트와 SDK에서
music_v2_5를 지원합니다. 작곡 계획 생성 청크는 최대 6,132자를 지원하며, 각 줄 최대 200자의 줄을 최대 30개까지 포함할 수 있습니다.
SDK 릴리스
JavaScript SDK
- v2.68.0 - 에이전트 대기 오디오를 업로드하고 삭제하는 메서드를 추가했습니다. 통화 대기열, 프로시저 참조, 초안 브랜치 생성, RAG 쿼리 제한, 테스트 버전 메타데이터,
gemini-3.8-flash,music_v2_5를 위한 타입을 재생성했습니다.
Python SDK
- v2.68.0 - 에이전트 대기 오디오를 업로드하고 삭제하는 동기 및 비동기 메서드를 추가했습니다. 통화 대기열, 프로시저, 초안 브랜치 생성, RAG 쿼리 제한, 테스트 버전 메타데이터,
gemini-3.8-flash,music_v2_5를 위한 타입을 재생성했습니다. 이제compose_detailed래퍼에서 생성된 모든 음악 모델 ID와 프롬프트 기반 및 청크 기반 작곡 계획을 모두 지원합니다.
iOS SDK
- v3.3.1 - 에이전트 메시지를
event_id대신response_id로 조정하여 도구 호출 주변의 여러 응답을 보존하고, 스트리밍된 부분이나 수정 사항이 잘못된 메시지에 연결되지 않도록 했습니다.
ElevenLabs CLI
- v1.3.0 - 생성된 API 명령에 선택적
--intent메타데이터를 추가했습니다. CLI에서 지원하지 않는 워크플로를 신고할 수 있도록elevenlabs feedback missing-capability를 추가했습니다.
패키지
- @elevenlabs/convai-widget-core@0.18.2 및 @elevenlabs/convai-widget-embed@0.18.2 - 도구 및 프로시저 호출 후 중복되는 에이전트 답변을 수정했습니다. 스트리밍된 텍스트 답변은 Markdown 형식을 유지하며, 음성 대화에서는 발화되지 않은 스트리밍 채팅 부분이 더 이상 렌더링되지 않습니다. 임베드 패키지는
user_activity이벤트도 초당 한 번으로 제한하고 세션이 종료되면 이 제한을 해제합니다.
API
API 변경 사항 보기
새 엔드포인트
ElevenAgents
- 에이전트 대기 오디오 업로드 -
POST /v1/convai/agents/{agent_id}/hold-audio- 필수
hold_audio_file(바이너리)을 multipart 양식 데이터로 받습니다. 파일은 최대 40MB 및 180초 길이의 MP3 또는 WAV여야 합니다. - 필수
agent_id(문자열) 및hold_audio(AgentHoldAudioConfig)를 반환합니다. 대기 오디오 객체에는audio_path,audio_url,original_filename(문자열),duration_secs(숫자),size_bytes(정수)가 필요합니다.
- 필수
- 에이전트 대기 오디오 삭제 -
DELETE /v1/convai/agents/{agent_id}/hold-audio- 사용자 지정 클립을 제거하여 대기 중인 발신자가 기본 대기음을 듣도록 합니다.
- 필수
agent_id(문자열)를 반환합니다.
업데이트된 엔드포인트
ElevenAgents
- 에이전트 생성, 에이전트 가져오기 및 에이전트 업데이트
enabled(불리언, 기본값false) 및wait_timeout_seconds(정수, 1–1,800, 기본값180)가 포함된 선택적platform_settings.queueing_config(AgentQueueingConfig)를 추가했습니다.- 대기열 구성 응답에는 읽기 전용의 nullable
hold_audio(AgentHoldAudioConfig)가 포함됩니다. 에이전트 응답에는 선택적default_hold_audio_url(문자열)도 포함됩니다.
- 대화 가져오기 -
GET /v1/convai/conversations/{conversation_id}- 메타데이터에 선택적 nullable
queue_wait_secs(숫자)를 추가했습니다. 대기열 시간은call_duration_secs및 청구 시간에서 제외됩니다.
- 메타데이터에 선택적 nullable
- 에이전트 브랜치 생성 -
POST /v1/convai/agents/{agent_id}/branches- 선택적
include_draft(불리언, 기본값false)를 추가했습니다.true인 경우 브랜치 팁에서 생성된 브랜치에 호출자의 초안 프로시저 세트가 포함됩니다.
- 선택적
- 프로시저 나열 및 프로시저 생성, 가져오기, 초안 엔드포인트
- 목록 항목에 선택적
referenced_tool_ids,referenced_kb_ids,referenced_procedure_ids,referenced_dynamic_variables(문자열 배열)를 추가했습니다. - 에이전트 및 병합 미리보기 응답에 프로시저 ID를 키로 하는 맵인 선택적
procedures를 추가했습니다.
- 목록 항목에 선택적
- 테스트 호출 나열 -
GET /v1/convai/test-invocations- 이름으로 테스트와 폴더를 필터링하는 선택적 nullable
search(문자열)를 추가했습니다.
- 이름으로 테스트와 폴더를 필터링하는 선택적 nullable
- 에이전트에서 테스트 실행 및 테스트 호출 가져오기
- 테스트 스위트 호출 및 단위 테스트 실행 응답에 선택적 nullable
version_id(문자열)와 선택적ran_against_draft(불리언, 기본값false)를 추가했습니다. - 호출 요약에도 선택적
runs_diverged_from_version(불리언, 기본값false)를 추가했습니다.
- 테스트 스위트 호출 및 단위 테스트 실행 응답에 선택적 nullable
POST /v1/convai/agents/{agent_id}/knowledge-base/rag-query- 요청 본문에 쿼리별 재정의 값으로 선택적 nullable
max_documents_length(정수, 1–50,000) 및max_retrieved_rag_chunks_count(정수, 1–20)를 추가했습니다.
- 요청 본문에 쿼리별 재정의 값으로 선택적 nullable
- WhatsApp 계정 가져오기 -
GET /v1/convai/whatsapp-accounts/{phone_number_id}- 선택적
account_type(WhatsAppAccountType, 기본값cloud_api)을 추가했습니다. 값은cloud_api및coexistence입니다.
- 선택적
- 예상 LLM 사용량 계산 -
POST /v1/convai/agent/{agent_id}/llm-usage/calculateLLMUsageCalculatorLLMResponseModel에 필수price_per_message(숫자)를 추가했습니다.
음악
MusicModelID에POST /v1/music/video-to-music,POST /v1/music/plan, 음악 작곡,POST /v1/music/detailed,POST /v1/music/detailed/stream,POST /v1/music/stream,POST /v1/music/upload,POST /v1/music/finetunes용music_v2_5를 추가했습니다.GenerationChunk.text의maxLength를POST /v1/music/plan,POST /v1/music,POST /v1/music/detailed,POST /v1/music/detailed/stream,POST /v1/music/stream,POST /v1/music/upload에 대해 6,000자에서 6,132자로 늘렸습니다. 섹션 이름은 1~100자를 포함할 수 있고, 청크에는 한 줄당 200자씩 최대 30줄을 포함할 수 있습니다.
스키마 변경 사항
ElevenAgents
- 실시간 서버 이벤트에
queue_status를 추가했습니다. 필수queue_status_event.status는waiting,admitted,timed_out를 지원하며,timed_out은 WebSocket 종료 코드4300보다 먼저 발생합니다. 대기 오디오는 계속 일반audio이벤트로 전달됩니다. LLM열거형에 대화 시작 재정의를 포함하여gemini-3.8-flash를 추가했습니다.- 대화 시스템 도구 결과 유니온에
start_procedure_success,start_procedure_error,end_procedure_success,end_procedure_error를 추가했습니다. FeaturesUsageCommonModel에 선택적freeform_procedure및structured_procedure기능 상태를 추가했습니다.
Scribe v2 Medical
Scribe v2 Medical이 이제 정식 출시되었습니다. 의료 및 임상 오디오에 특화된 일괄 음성 인식 모델이며, Scribe v2와 동일한 요금이 적용됩니다.
트랜스크립트 생성에서 model_id로 scribe_v2_medical을 전달하세요. 키워드 프롬프팅, 엔터티 감지, 화자 분리 및 축어록 비사용 모드는 Scribe v2와 동일하게 작동합니다.
ElevenAgents
- 워크스페이스 전체 대화 티켓: 액세스 가능한 에이전트 전반의 대화 트리아지 티켓을 가져오는 워크스페이스 티켓 목록을 추가했습니다. 상태 또는 담당자로 필터링하고 커서 페이지네이션을 사용해 페이지당 최대 100개의 티켓을 가져올 수 있습니다.
- 동적 변수 대화 필터: 이제 대화 목록 및 대화 메시지 텍스트 검색에서 반복 가능한
dynamic_variable_params필터를 지원합니다.eq,gt,gte,lt,lte와 함께name:op:value를 사용하세요. 비교 연산자에는 숫자 값이 필요합니다. - Twilio 자동응답기 감지: 이제 발신 전화 및 일괄 통화 구성에서 선택적
twilio_machine_detection을 지원합니다. 사람 또는 기계 여부를 빠르게 판별하려면enable을 선택하고, 음성사서함 안내가 끝날 때까지 기다리려면detect_message_end를 선택하세요. 결과는 새answering_machine_detection웹훅 이벤트를 통해 제공됩니다. - 데이터 수집 값 제약 조건: 이제 데이터 수집 속성에서 허용되는 값을 포함하는 동적 변수의 이름을 지정하기 위해
allowed_values를 사용할 수 있습니다. 이전allowed_values_dynamic_variable필드는 더 이상 사용되지 않습니다. - 에이전트 메타데이터: 이제 에이전트 브랜치 목록 응답에서 초안 생성 시점과 브랜치 팁보다 이전인지 여부를 표시합니다. 에이전트 및 Speech Engine 요약에는 이제
voice_id가 필요합니다. - 지식 베이스 소스 URL: 이제 에이전트 RAG 쿼리 청크에 URL 문서의 추적 URL을 포함하는 필수 nullable
source_url이 포함됩니다. - 에이전트 응답 첨부 파일: 이제
agent_responseWebSocket 이벤트에 선택적attachments가 포함됩니다. 각 첨부 파일에는url및name이 필요하며mime_type을 포함할 수 있습니다.
워크스페이스
- API 키 플랫폼 한도: 이제 서비스 계정 API 키 응답에 크레딧, 프로페셔널 음성 복제, TTS, 더빙 및 음악 동시성에 대한 엔터프라이즈
platform_limits가 포함될 수 있습니다.
SDK 릴리스
JavaScript SDK
- v2.67.0 - 대화 목록 및 텍스트 검색 요청에
dynamicVariableParams를 추가했습니다. Twilio 자동응답기 감지, 데이터 수집 값 제약 조건, API 키 플랫폼 한도, 에이전트 브랜치 초안 메타데이터, 지식 베이스 소스 URL의 유형을 다시 생성했습니다.
Python SDK
- v2.67.0 - 동기 및 비동기 대화 목록과 텍스트 검색 메서드에
dynamic_variable_params를 추가했습니다. Twilio 자동응답기 감지, 데이터 수집 값 제약 조건, API 키 플랫폼 한도, 에이전트 브랜치 초안 메타데이터, 지식 베이스 소스 URL의 유형을 다시 생성했습니다. 실시간 텍스트 음성 변환 클라이언트는 더 이상 내부 omit sentinel을 연결에 전달하지 않습니다.
ElevenLabs CLI
- v1.2.0 -
elevenlabs say명령과 해당 에이전트 스킬을 추가하고, API 명령 바인딩을 다시 생성했으며,eleven_v3를 기본 TTS 모델로 설정했습니다.
패키지
- @elevenlabs/client@1.25.0, @elevenlabs/react@1.15.2, @elevenlabs/react-native@1.2.27, @elevenlabs/convai-widget-core@0.18.1 및 @elevenlabs/convai-widget-embed@0.18.1 - 소비자가 유형을 직접 가져올 수 있도록
@elevenlabs/client에서MessageAttachment를 다시 내보냈습니다. - @elevenlabs/client@1.24.0, @elevenlabs/types@0.23.0, @elevenlabs/react@1.15.1, @elevenlabs/react-native@1.2.26, @elevenlabs/convai-widget-core@0.18.0 및 @elevenlabs/convai-widget-embed@0.18.0 - 에이전트 응답 파일 첨부를
onMessage로 전달하고 선택적webRtc.singlePeerConnection세션 설정을 추가했습니다. 위젯은 인사말 버튼도 현지화하며, 누락되거나 중복된 텍스트 채팅 응답을 수정합니다.
API
API 변경 사항 보기
새 엔드포인트
ElevenAgents
- 워크스페이스 티켓 목록 -
GET /v1/convai/triage-tickets- 호출자가 액세스할 수 있는 모든 에이전트의 대화 트리아지 티켓을 가장 최근 생성된 순으로 나열합니다.
- 선택적
page_size(정수, 1~100, 기본값100),status(AgentConversationTicketStatus),assignee_user_id(문자열 또는unassigned),cursor(문자열) 쿼리 매개변수를 추가했습니다. GetAgentConversationTicketsPageResponseModel을 반환합니다.
업데이트된 엔드포인트
ElevenAgents
- 대화 목록 -
GET /v1/convai/conversations- 선택적 nullable
dynamic_variable_params(반복 가능한 문자열 배열)를 추가했습니다. 각 값은name:op:value형식을 사용하며,op는eq,gt,gte,lt,lte입니다.
- 선택적 nullable
- 대화 메시지 텍스트 검색 -
GET /v1/convai/conversations/messages/text-search- 동일한 구문을 사용하는 선택적 nullable
dynamic_variable_params(반복 가능한 문자열 배열)를 추가했습니다.
- 동일한 구문을 사용하는 선택적 nullable
- Twilio 발신 통화, SIP 트렁크 발신 통화, Exotel 발신 통화, 일괄 통화 제출
- 이제
telephony_call_config에서 별도의 입력 및 출력 스키마를 사용합니다. - 선택적 nullable
twilio_machine_detection(TwilioMachineDetectionConfig)을 추가했습니다.mode는enable또는detect_message_end를 허용하며 기본값은enable입니다. 이 설정은 Twilio 이외의 제공업체와 수신 통화에서는 무시됩니다.
- 이제
- 전화번호 가져오기 -
POST /v1/convai/phone-numbers- Twilio API 키 가져오기에서 수신 웹훅 서명을 검증하기 위한 선택적 nullable
account_auth_token(문자열)을 추가했습니다.
- Twilio API 키 가져오기에서 수신 웹훅 서명을 검증하기 위한 선택적 nullable
스키마 변경 사항
ElevenAgents
WebhookEventType에answering_machine_detection을 추가했습니다.AgentBranchSummary에 선택적 nullabledraft_created_at(정수) 및 선택적draft_is_behind_tip(불리언, 기본값false)을 추가했습니다.AgentKnowledgeBaseRagChunkResponseModel에 필수 nullablesource_url(문자열)을 추가했습니다.AgentSummaryResponseModel및SpeechEngineSummaryResponse에 필수voice_id(문자열)를 추가했습니다.AnalysisProperty에 선택적 nullablename(문자열) 및allowed_values(AllowedValues)를 추가했습니다.LiteralJsonSchemaProperty에도allowed_values를 추가했습니다. 두 항목 모두allowed_values_dynamic_variable을 더 이상 사용하지 않습니다.DataCollectionResultCommonModel에 선택적 nullablename(문자열)을 추가했습니다.WorkspaceApiKeyResponseModel에 선택적 nullableplatform_limits(PlatformLimits)를 추가했습니다.- MCP 도구
Icon에 선택적 nullabletheme(light또는dark)을 추가했습니다. SMBToolConfig에send_custom_email,create_service_quote_request,create_product_quote_request매개변수 변형을 추가했습니다.- 이제 웹훅 쿼리 매개변수 스키마와 전화 통화 구성에서 별도의 입력 및 출력 모델을 사용합니다.
agent_responseWebSocket 이벤트에 선택적attachments(배열)를 추가했습니다. 각 항목에는url및name(문자열)이 필요하며 선택적mime_type(문자열)을 허용합니다.
ElevenCreative
- 이제
ReferenceVideo.studio_clip에서StudioClipReference대신StudioClipLocator를 사용합니다. 필드와 와이어 형식은 변경되지 않았습니다.
ElevenAgents
- 전화 키패드 입력: 이제 에이전트 대화 구성에서 DTMF 입력을 위한 선택적
dtmf_input_settings를 지원합니다. 숫자 입력 제한 시간을 설정하고,#을 종료 문자로 사용하며, 기록, 로그 및 분석에서 키패드 입력을 숨길 수 있습니다. - 대화 첨부 파일 기록: 이제 대화 가져오기의 트랜스크립트 항목에 연결된 모든 파일의 ID, 이름, MIME 유형 및 URL이 포함된 배열
file_inputs가 포함됩니다. - 에이전트 태그 필터링: 이제 에이전트 목록에서 선택적
tags쿼리 매개변수를 사용할 수 있습니다. 매개변수를 반복하여 제공된 태그 중 하나와 일치하는 에이전트를 찾을 수 있습니다. - 일괄 캠페인 컨텍스트: 이제 대화 가져오기에서 필수
campaign_id및campaign_lead_id를 포함하는 nullablecampaign메타데이터로 일괄 통화를 식별합니다.
음악
- 파형 시각화 데이터: 이제 상세 음악 생성, 세부 정보와 함께 음악 스트리밍, 음악 업로드에서 선택적
with_waveform_visual(불리언, 기본값false)을 지원합니다. 이 옵션을 선택한 응답은 초당 4개 샘플로 구성된 저해상도waveform_visual정수 배열을 반환합니다.
더빙
- 프로젝트 페이지네이션 동작: 이제 더빙 프로젝트 목록 및 언어 대상 목록에서
page_size를 1~100으로 제한합니다. 프로젝트 상태 필터에queued가 포함되며, 두 엔드포인트 모두 다음 페이지를 가져오기 위해next_cursor를 사용하는 방법을 안내합니다.
SDK 릴리스
JavaScript SDK
- v2.66.0 -
sendMultimodalMessage에fileIds를 추가하여 하나의 메시지에 여러 파일 첨부를 포함할 수 있습니다.
Python SDK
- v2.66.0 -
send_multimodal_message에file_ids를 추가하여 하나의 메시지에 여러 파일 첨부를 포함할 수 있습니다.
Android SDK
- v0.12.2 - 세션 이벤트를 연결할 때
onUnhandledClientToolCall콜백을 유지했습니다. 응답을 예상하는 처리되지 않은 클라이언트 도구 호출은 더 이상 미해결 상태로 남지 않고 자동 오류 응답을 받습니다.
ElevenLabs CLI
- v1.1.0 - API 명령 바인딩을 다시 생성하고 ElevenAgents 워크플로에 명령 범위 요청 어트리뷰션을 추가했습니다. 이 명령은 CLI
User-Agent에cmd/<command>를 추가하여agents push및agents create와 같은 워크플로의 요청을 구분할 수 있게 합니다.
패키지
- @elevenlabs/client@1.23.0, @elevenlabs/react@1.15.0, @elevenlabs/types@0.22.1, @elevenlabs/react-native@1.2.25, @elevenlabs/convai-widget-core@0.17.1 및 @elevenlabs/convai-widget-embed@0.17.1 -
sendMultimodalMessage에fileIds를 추가했습니다. 호환성을 위해 클라이언트가file및files필드를 모두 전송하며, React에서 업데이트된 클라이언트 API를 제공합니다.
API
API 변경 사항 보기
업데이트된 엔드포인트
ElevenAgents
- 에이전트 목록 -
GET /v1/convai/agents- 선택적 nullable
tags(문자열 배열)를 추가했습니다. 쿼리 매개변수를 반복하여 제공된 태그 중 하나와 일치시킬 수 있습니다.
- 선택적 nullable
- 에이전트 생성, 에이전트 가져오기, 에이전트 업데이트
- 선택적 nullable
conversation_config.conversation.dtmf_input_settings(DTMFInputConfig)를 추가했습니다.dtmf_input_timeout(숫자, 0.5~10초, 기본값2),hash_terminator(불리언, 기본값true),redact_input(불리언, 기본값false)을 지원합니다. - 전화번호 전송 구성에 선택적
sip_refer_play_dialtone(불리언, 기본값true)을 추가했습니다. SIP REFER 전송이 완료되는 동안 원래 통화 레그를 무음으로 유지하려면false로 설정하세요. - 시작 및 종료 절차 시스템 도구는 이제
ProcedureVersionRef또는ProcedureDraftRef를 받을 수 있습니다. 초안 참조에는procedure_id(문자열)가 필요하며version_id는null로 설정됩니다.
- 선택적 nullable
- 대화 가져오기 -
GET /v1/convai/conversations/{conversation_id}- 트랜스크립트 항목에
file_inputs(ConversationHistoryTranscriptFileInputResponseModel배열)를 추가했습니다. 각 항목에는file_id,original_filename,mime_type,file_url(문자열)이 필요합니다. - 일괄 통화 메타데이터에 선택적 nullable
campaign(BatchCallingCampaignInformation)을 추가했습니다. 객체에는campaign_id및campaign_lead_id(문자열)가 필요합니다. ChatSourceMedium에dtmf를 추가했습니다.
- 트랜스크립트 항목에
- 대화 트리아지 티켓 이슈 유형에
incorrect_information,documentation_gap,platform_bug,wrong_action을 추가했습니다.
음악
- 상세 음악 생성(
POST /v1/music/detailed) 및 세부 정보와 함께 음악 스트리밍(POST /v1/music/detailed/stream)- 선택적
with_waveform_visual(불리언, 기본값false)을 추가했습니다. - 상세 응답에 nullable
waveform_visual(정수 배열)을 추가했습니다.-1000에서1000범위로 초당 4회 샘플링됩니다.
- 선택적
- 음악 업로드 -
POST /v1/music/upload- 응답에 선택적
with_waveform_visual(불리언, 기본값false) 및 nullablewaveform_visual(정수 배열)을 추가했습니다.
- 응답에 선택적
ElevenCreative
- Studio 프로젝트 생성 및 팟캐스트 생성
- 이제
quality_preset에서null을 허용하며,standard스키마 기본값을 제거했습니다.
- 이제
더빙
- 더빙 프로젝트 목록 -
GET /v1/dubbing/projectpage_size는 기본값20의 선택적 정수로 유지되지만, 이제 값이 거부되는 대신 1~100으로 제한됩니다.- 이제
status필터에서queued,preparing,ready,failed를 안내합니다. - 이전 응답의
next_cursor를cursor에 전달하세요. 첫 페이지에서는 생략하세요.
- 언어 대상 목록 -
GET /v1/dubbing/project/{project_id}/languagepage_size는 기본값20의 선택적 정수로 유지되지만, 이제 값이 거부되는 대신 1~100으로 제한됩니다.status필터는queued,processing,completed,stale,failed를 지원합니다.- 이전 응답의
next_cursor를cursor에 전달하세요. 첫 페이지에서는 생략하세요.
스키마 변경 사항
워크스페이스
PendingSubscriptionSwitchResponseModel.next_tier에grant를 추가했습니다.