Przejdź do nawigacji

Eleven Realtime

Eleven Realtime is a new family of models for ElevenAgents voice agents, rolling out gradually across workspaces. Each one is a complete voice agent configuration. You pick one model, and ElevenLabs handles the LLM, Speech to Text and Text to Speech settings behind it. Your agent’s system prompt, voice, tools and knowledge base work the same as before.

There are two to choose from. Eleven Realtime v1 Mini (eleven_realtime_v1_mini) is the default, and it’s the fastest and cheapest. Eleven Realtime v1 Max (eleven_realtime_v1_max) reasons before it answers, so use it when your agent has complex instructions or multi-step tool calls.

If you’ve already built on OpenAI’s Realtime API, you don’t need to rewrite your client. The events and the WebSocket transport are the same, so you change the endpoint and the session configuration. Your backend calls Create realtime client secret to get a short-lived secret, and the browser uses it to connect directly.

Realtime Translation

Realtime Translation turns speech in one language into speech in another while the speaker is still talking. It’s a WebSocket API, available now for enterprise workspaces.

You open a connection with a target_language and a voice_id, then stream audio in. You get translated speech back in that voice. You don’t have to say which language the speaker is using, because it’s detected automatically, but you can set source_language if you know it. Along the way, the server also sends live transcripts of the original speech and the translated text, for example to show captions.

eagerness controls the tradeoff between speed and quality. high starts translating soonest, and low waits for more of the sentence. The translated voice uses Eleven v4 Turbo by default, and you can switch to eleven_v3 or eleven_flash_v2_5 with tts_model_id. For sensitive conversations, set enable_zrm=true to use Zero Retention Mode.

Video to Music

Video to Music writes a soundtrack for your video. The Video to music API is now available: you upload a video and get back music that fits it, without writing a music prompt from scratch. Use it to score product videos, ads and social clips.

You can send up to 10 video files (200 MB combined). They’re joined in order and scored as one video. To steer the result, add a text description and up to 10 style tags.

Three options are worth knowing. use_audio_as_reference takes the genre, BPM, instruments and mood from the video’s own audio. add_sfx adds sound effects that match the video. separate_tracks returns the music and the sound effects as separate files in a ZIP, so you can mix them yourself.

ElevenAgents

  • Alerts: Alerts notify a workspace when agent error rates exceed a threshold or rise sharply above their recent baseline. Monitors cover conversation failures, tool failures, webhook errors, guardrail triggers, call initiation errors and evaluation success scores, and run with default thresholds without any setup. Agent-level thresholds and notifiers can be set through platform_settings.alerting on Update agent. Notifications can be delivered as webhooks, to Slack or to PagerDuty.
  • Guardrails generally available: Guardrails are no longer in alpha.
  • Workspace environments: Environments for environment variables can now be managed through the API with List environments, Create environment and Delete environment. A variable without a value for an environment falls back to its production value. Deleting an environment removes its values from all variables, and production cannot be deleted.
  • Answering machine detection actions: Twilio answering machine detection settings on Outbound call and Submit batch call accept actions, a list of rules that pair an action (hang_up) with the answered_by verdicts that trigger it, such as machine_start or fax. Verdicts without a rule leave the call running.
  • New LLMs: Agents can use gemini-4-argon, claude-opus-4-6 and the ElevenLabs-hosted nemotron-35-super-vl-nvfp4. See Models.
  • Authored-only workflow reads: Get agent and Update agent accept include_procedure_generated_workflow_elements. Set it to false to receive only the workflow nodes and edges you authored, excluding the ones compiled from structured procedures. Defaults to true, so existing callers are unchanged.
  • Branch rebasing from any branch: Rebase branch and Preview rebase accept an optional source_branch_id to pull changes from a branch other than main.
  • Delete agents used as subagents: Delete agent accepts force. When true, the agent is deleted even if other agents use it as a subagent, and it is removed from those agents and their branches.
  • Sort agents by last update: List agents accepts sort_by=updated_at, and each agent summary includes updated_at_unix_secs, the last time the main branch or agent-level settings changed.
  • Google Calendar event updates: The Google Calendar integration adds google_calendar_update_event and google_calendar_delete_event tools. Both are privileged tools that can change or cancel any event on the connected calendar.

Music and Sound Effects

  • Zero Retention Mode: Music generation, composition plan, stem separation and video to music endpoints, plus Sound Effects, accept enable_logging=false to use Zero Retention Mode. Zero Retention Mode is available to enterprise customers. Music requests that set store_for_inpainting=true are rejected in this mode.
  • WAV output for sound effects: Sound Effects accepts wav_8000, wav_16000, wav_22050, wav_24000, wav_32000, wav_44100 and wav_48000 output formats.

Speech Engine

  • 40-minute conversations: Speech Engine supports conversations of up to 40 minutes. The default limit remains 10 minutes. Raise conversation.max_duration_seconds to allow longer conversations.
  • Sort by last update: List Speech Engines accepts sort_by=updated_at, and each summary includes updated_at_unix_secs.

Dubbing

  • Subtitles for dubbed languages: Dubbing project language outputs (GET /v1/dubbing/project/{project_id}/language/{language_id}) include subtitles, a signed URL to the translated lines as WebVTT subtitles timed to the source speech. The URL expires one hour after it is issued.

Voices

  • Resubmittable voice reviews: Voice sharing review_status adds declined_resubmittable for declined voices that can be resubmitted for review.

Workspaces

  • Disable service account API keys: Disable service account API key disables a service account API key without changing its other settings. It remains available after a workspace downgrades from a plan that includes service accounts.
  • Group concurrency limits: List workspace groups and List service accounts return group_concurrency_limit, group_dubbing_concurrency_limit and group_music_concurrency_limit for each group, and group permissions add all_resources_access.

SDK releases

JavaScript SDK

  • v2.74.0 - Added client.conversationalAi.realtime.createClientSecret for the Realtime API, with the RealtimeModel and OpenAI-compatible session configuration types, and an environments client with list, create and delete. Also adds force on agent deletion, sourceBranchId on branch rebase and rebase preview, includeProcedureGeneratedWorkflowElements on agent reads, enableLogging on Music and Sound Effects methods, WAV output formats for Sound Effects, service account API key disable, and Twilio answering machine detection actions.
  • v2.73.0 - Added createAndWait helpers for Flows image, video and Text to Speech generations and template runs (client.flows.templates.runs.createAndWait). They create the request and poll until it completes or fails, pacing requests with the server’s Retry-After header. A failed result is returned rather than thrown, and waitTimeoutInSeconds throws FlowsWaitTimeoutError if the work is not finished in time. The regenerated client adds the Video to music add_sfx, separate_tracks and use_audio_as_reference options.

Python SDK

  • v2.74.1 - music.compose_detailed now accepts and forwards enable_logging, which the custom wrapper previously dropped, so Zero Retention Mode works with this method.
  • v2.74.0 - Added client.conversational_ai.realtime.create_client_secret for the Realtime API and an environments client, with the same regenerated API changes as JavaScript SDK v2.74.0.
  • v2.73.0 - Added create_and_wait helpers for Flows image, video and Text to Speech generations and template runs, for both sync and async clients, with wait_timeout_in_seconds and min_poll_interval_in_seconds options and a FlowsWaitTimeoutError exported from elevenlabs.flows_custom. Type checkers such as pyright now resolve client.webhooks.construct_event, client.speech_to_text.realtime, client.text_to_speech.convert_realtime and the custom Music methods. Includes the same regenerated API changes as the JavaScript SDK.
  • v2.73.1 - Fixed the test suite on Python 3.13 and later, and added Python 3.13 and 3.14 to CI.

ElevenLabs CLI

  • v1.7.0 - Regenerated API commands, adding environments, realtime client secrets and service account API key disabling.
  • v1.6.0 - Added create-and-wait commands for flows image, flows video, flows text-to-speech and flows templates runs. Each command returns a finished result, with --wait-timeout and --min-poll-interval options.
  • v1.5.1, v1.5.2, v1.5.3 and v1.6.1 - Bug fixes for onboarding, including Windows support.

Packages

API

New endpoints

ElevenAgents

  • Create realtime client secret - POST /v1/convai/realtime/client_secrets - Create an ephemeral client secret for browser-based Realtime API sessions. Accepts an optional session (OpenAI-compatible session configuration with model of eleven_realtime_v1_mini (default) or eleven_realtime_v1_max, instructions, audio, tools, turn_detection and max_duration_seconds from 60 to 7,200, default 600) and optional expires_after with required seconds (integer). Returns value (string), expires_at (integer) and the echoed session.

  • List environments - GET /v1/convai/environments - List the workspace environments, including production. Each environment has name, nullable updated_at_unix_secs and nullable created_by_user_id.

  • Create environment - POST /v1/convai/environments - Create an environment with a required, unique name (string). Returns 409 if the name is taken.

  • Delete environment - DELETE /v1/convai/environments/{environment} - Delete an environment and remove its values from all environment variables. Returns 204.

Workspaces

  • Disable service account API key - POST /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}/disable - Disable a service account API key without changing its other settings.

Updated endpoints

ElevenAgents

  • Get agent, Update agent, Preview rebase and Preview merge
    • Added optional include_procedure_generated_workflow_elements (boolean, default true). When false, the returned workflow contains only authored nodes and edges, without those generated from structured procedures.
  • Create agent, Get agent and Update agent
    • The llm enum adds gemini-4-argon, claude-opus-4-6 and nemotron-35-super-vl-nvfp4.
    • TTS configuration effects removes the deprecated seed field.
  • Delete agent - Added optional force (boolean, default false).
  • List agents - sort_by adds updated_at. Agent summaries add required updated_at_unix_secs (integer).
  • Rebase branch and Preview rebase - Added optional source_branch_id (string). Defaults to the agent’s main branch.
  • Outbound call, Submit batch call and Get batch call
    • Twilio machine detection configuration adds actions, an array of rules with required action (hang_up) and required answered_by (array of human, fax, unknown, machine_start, machine_end_beep, machine_end_silence or machine_end_other). Each action can appear in at most one rule.
  • Get conversation details
    • Transcript tool calls add nullable tool_id (string). It is not set for tools without an ID, such as system tools.
    • Turn metrics add nullable voice_id (string).
    • Tool results add nullable to_agent and to_node (string).
    • WhatsApp conversation info adds nullable recipient with nullable phone and bsuid (string), and nullable call_permission_request with required state (blocked, sent, accepted or declined) and nullable requested_at_unix (integer).
    • The platform charge category enum adds v3_addon, v4_addon and rag_addon.
  • Get ticket, List tickets and List workspace tickets
    • Ticket responses add required status_changes, an array of objects with status, nullable changed_by_user_id (string) and changed_at_unix_secs (integer).

Text to Speech and Text to Dialogue

Music

Sound Effects

  • Create sound effect
    • Added optional enable_logging query parameter (boolean, default true).
    • output_format adds wav_8000, wav_16000, wav_22050, wav_24000, wav_32000, wav_44100 and wav_48000.

Speech Engine

  • List Speech Engines - sort_by adds updated_at. Summaries add required updated_at_unix_secs (integer).

Speech to Text

  • Create transcript and Get transcript - Edited transcripts add required, read-only edited_text (string), matching text and the edited_text field of the realtime edited_transcript event.

Dubbing

  • GET /v1/dubbing/project/{project_id}/language and GET /v1/dubbing/project/{project_id}/language/{language_id} - Language outputs add nullable subtitles (string, signed URL).

Voices

Workspaces

  • List workspace groups and List service accounts
    • Groups add nullable group_concurrency_limit, group_dubbing_concurrency_limit and group_music_concurrency_limit (integer or unlimited).
    • Group permissions add all_resources_access.

ElevenAgents

  • Merge and search triage tickets: Merge tickets folds up to 50 open tickets from the same agent into one target ticket. Merged tickets keep the status merged and reference the target through merged_into_ticket_id. List tickets and List workspace tickets add a case-insensitive search parameter that matches ticket titles, descriptions, comments and turn comments, and each result includes a search_match excerpt showing where the query matched.
  • Workflow End node outcomes: Workflow End nodes accept an outcome of success (default) or failure, so a workflow can record whether a conversation ended successfully. The conversation error type adds workflow_end_failure.
  • Call queueing enabled for new agents: New agents are created with call queueing enabled unless platform_settings.queueing_config.enabled is set explicitly. Existing agents keep their current setting.
  • Post-call audio webhook retries: When Enable retries is on, post_call_audio webhooks are retried on the same schedule as transcription webhooks. Audio payloads over 50 MiB are not retried, and queued audio retries are capped at 400 MiB per webhook.
  • Strict tool overrides: The conversation override tool_ids_strict makes an overridden tool_ids list the complete set of tools available in the conversation, including tools on workflow nodes. It is ignored when set on the agent itself.
  • Widget end confirmation: The widget can ask users to confirm before ending a chat or call. Enable it with end_confirmation_enabled in the widget configuration or the end-confirmation attribute.

Text to Speech

  • Audio effects: Text to Speech and Text to Dialogue requests accept an optional audio_effects object. It applies a filter preset, perceived distance, a reverb environment, a looped background noise bed and stereo panning to the generated audio. List valid preset, environment and background noise IDs with GET /v1/audio-effects/catalog. Reverb and non-zero panning produce stereo audio and are rejected for ulaw_*, alaw_* and pcm_* output formats. Effects do not change the cost of a request.

Speech to Text

  • Turn prediction commit strategy: The realtime Speech to Text WebSocket adds turn_prediction as a commit_strategy value. In addition to silence-based segmentation, it commits a segment as soon as the model predicts the speaker has finished their turn. It is the default for models that predict turns, and partial transcripts from those models include turn_probability. See transcripts and commit strategies.

Voices

  • Voice collections API: Voice collections can now be managed through the API. Create, list, update and delete collections, and add or remove voices. See List voice collections.

Workspaces

  • Basic seat fallback: Update member accepts allow_downgrade_to_basic_seat. When unlocking a user whose original seat type has no seats available, the user is moved to a basic seat instead of the request failing.
  • Workspace ID on user: Get user returns the workspace_id of the workspace the API key belongs to.

SDK releases

JavaScript SDK

  • v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds the turn_prediction commit strategy.

Python SDK

  • v2.72.0 - Added clients for voice collections, the audio effects catalog and triage ticket merging. Text to Speech and Text to Dialogue methods accept audio_effects, triage ticket list methods add search and filters, and the realtime Speech to Text client adds the turn_prediction commit strategy. play() and save() now accept any iterable of audio chunks, such as a list or tuple. RealtimeEvents.CLOSE handlers receive a dictionary with the WebSocket close code and reason; handlers without parameters continue to work.

ElevenLabs CLI

  • v1.5.0 - Regenerated API commands, adding voice collections, the audio effects catalog, triage ticket merging and agent merge proposals.

Packages

  • @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0 - Added a previousText option to Scribe.connect() and useScribe() in microphone mode. The text is sent with the first audio chunk to give the model context, such as existing document text, for casing, punctuation and sentence continuation. MediaDeviceOutput now receives libsampleratePath, so output resampling uses the same custom libsamplerate bundle path as MediaDeviceInput.
  • @elevenlabs/react-native@1.2.29 - Updated to @elevenlabs/client@1.27.0 and @elevenlabs/react@1.17.0.
  • @elevenlabs/convai-widget-core@0.19.0 and @elevenlabs/convai-widget-embed@0.19.0 - Added an optional confirmation dialog before ending a chat or call, enabled with the end-confirmation attribute or end_confirmation_enabled config, with customizable text. Added carousel rich content with scrollable item cards that can include an image, subtitle, description and actions. Carousels remain in the transcript after a reply, without their actions. Rich content is now shown during voice calls when the transcript is visible.

API

New endpoints

ElevenAgents

  • Merge tickets - POST /v1/convai/triage-tickets/{agentqa_ticket_id}/merge - Merge open tickets into the target ticket. Requires source_ticket_ids (string array, 1–50 items) and returns the target ticket.

Voices

  • List voice collections - GET /v1/voices/collections - List the voice collections the caller can access, sorted by title.
  • Create voice collection - POST /v1/voices/collections - Create a collection with required title and icon (string, maximum 1,000 characters each).
  • Get voice collection - GET /v1/voices/collections/{collection_id} - Retrieve a collection with its title, icon and the caller’s permission_on_resource (admin, editor, commenter or viewer).
  • Update voice collection - PATCH /v1/voices/collections/{collection_id} - Update the optional title or icon.
  • Delete voice collection - DELETE /v1/voices/collections/{collection_id}
  • Add voice to collection - POST /v1/voices/collections/{collection_id}/voice/{voice_id}
  • Remove voice from collection - DELETE /v1/voices/collections/{collection_id}/voice/{voice_id}

Audio effects

  • GET /v1/audio-effects/catalog - List the available filter_presets, environments and background_noises. Each entry has an ID, a name and a nullable description.

Updated endpoints

ElevenAgents

  • Create agent, Get agent and Update agent
    • Workflow End nodes add outcome (success or failure, default success). The field is required in responses.
    • Standalone workflow agent nodes and agent transfer configurations add nullable branch_id (string) to target a specific branch of the destination agent. When unset, the transfer follows the target agent’s traffic deployment. Transfer tool results add a configured branch reason.
    • Prompt override configurations add tool_ids_strict (boolean, default false).
    • TTS configuration effects add pan (number, -1 to 1, default 0). The seed field is deprecated and has no effect.
  • Get widget config - Added end_confirmation_enabled (boolean, default false).
  • List tickets
    • Added optional search (string, maximum 200 characters) and merged_into_ticket_id (string) query parameters.
    • Ticket responses add nullable merged_into_ticket_id and nullable search_match with field (title, description, comment or turn_comment), snippet, highlight_start, highlight_end and nullable turn_index.
  • List workspace tickets - Added optional agent_id, sources, priorities, sort_by (created_at or priority, default created_at), owner_user_id, issue_type, label, merged_into_ticket_id and search query parameters.
  • List tests - Added optional created_by_user_id (string). Use @me for the authenticated user.
  • List test invocations - Added optional test_id (string), version_id (string), start_time and end_time (integer, Unix seconds, inclusive) query parameters.
  • Update agent branch - Added optional auto_rebase (boolean). Branch responses add auto_rebase (boolean, default false).
  • Get conversation details
    • Twilio, SIP trunk and Exotel phone call metadata add nullable call_result with answered, voicemail, busy, no_answer and failed values.
    • Batch call metadata adds nullable cold_attempt (integer) and nullable conversation_type (initial, retry, callback or redirect).
    • The conversation error type adds workflow_end_failure.
  • Knowledge base auto-sync auto_discover is deprecated and no longer has any effect.

Text to Speech

  • Create speech, Stream speech, Create speech with timing and Stream speech with timing
    • Added optional nullable audio_effects with filter_preset_id (string), distance (number, 0–1, default 0), environment_id (string), background_noise_id (string), send_level (number, 0–1, default 1) and pan (number, -1 to 1, default 0).
    • Unknown effect IDs return 404. Stereo effects return 400 for ulaw_*, alaw_* and pcm_* output formats.

Text to Dialogue

Speech to Text

  • Realtime Speech to Text
    • The commit_strategy query parameter adds turn_prediction, alongside manual and vad.
    • partial_transcript messages add optional turn_probability (number), sent only for models that predict turns.

Music

  • POST /v1/music/video-to-music - Responses add a song-id header with the ID of the generated song.

History

Workspace and user

  • Update member - Added optional allow_downgrade_to_basic_seat (boolean, default false).
  • Get user - Added required workspace_id (string).
  • Service account API key permissions add voice_collections_read and voice_collections_write.

ElevenAgents

  • Structured procedures compile on save and publish: Update agent and Create agent draft now compile and validate structured procedures automatically. Integrations no longer need to call the compile endpoint or manually update the generated workflow. Invalid procedures return per-procedure errors as 400 procedure_validation_failed. Agents without structured procedures are unaffected.
  • Compile procedures endpoint is legacy: Compile procedures is marked legacy and should not be used by new integrations. It remains available for existing callers.
  • Merge proposals: Merge proposals are available in alpha. Teams can open a proposal for an agent branch, review configuration changes and test results, leave comments or approval decisions, and merge approved changes into a target branch. See Merge proposals.

SDK releases

JavaScript SDK

  • v2.71.0 - Added clients for agent merge proposals, deployment history, test invocation cancellation and Speech Engine duplication. The release also adds triage ticket priorities and sorting, batch call export limits, gpt-6.1-sol, claude-sonnet-5-5, Eleven v4 agent voice models and current agent configuration types.

Python SDK

  • v2.71.0 - Added clients for agent merge proposals, deployment history, test invocation cancellation and Speech Engine duplication. The release also adds triage ticket priorities and sorting, batch call export limits, gpt-6.1-sol, claude-sonnet-5-5, Eleven v4 agent voice models and current agent configuration types.

Swift SDK

  • v3.4.0 - Dynamic variables now preserve native JSON types when sent in conversation initiation data.

Packages

API

New endpoints

ElevenAgents

  • Create a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals - Create a proposal with required source_branch_id, target_branch_id and title fields, plus an optional description, reviewer IDs and triage ticket ID.
  • List merge proposals - GET /v1/convai/agents/{agent_id}/merge-proposals - List proposals with status, source branch, target branch and text filters, plus cursor pagination.
  • Get a merge proposal - GET /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id} - Retrieve a proposal and its review, comment and outcome details.
  • Update a merge proposal - PATCH /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id} - Update its title, description or requested reviewers, or close it without merging.
  • Review a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/reviews - Submit an approved or changes_requested decision with an optional comment.
  • Comment on a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/comments - Add a Markdown comment of up to 4,096 characters.
  • Merge a merge proposal - POST /v1/convai/agents/{agent_id}/merge-proposals/{merge_proposal_id}/merge - Merge the source branch and optionally control forced conflict resolution and source branch archival.
  • List agent deployments - GET /v1/convai/agents/{agent_id}/deployments - List current and historical branch traffic splits with page-based pagination.
  • Cancel a test invocation - POST /v1/convai/test-invocations/{test_invocation_id}/cancel - Cancel a running test invocation.

Speech Engine

  • Duplicate a Speech Engine - POST /v1/speech-engine/{speech_engine_id}/duplicate - Duplicate a Speech Engine and optionally assign the copy a new name.

Updated endpoints

ElevenAgents

  • Create agent, Get agent and Update agent
    • Added gpt-6.1-sol and claude-sonnet-5-5 to the LLM enum.
    • Added eleven_v4 and eleven_v4_turbo to the conversational TTS model options. The default changed from eleven_flash_v2 to eleven_v4_turbo.
    • Agent transfers and standalone workflow agent nodes add optional preserve_voice_settings (boolean, default false) to retain the base voice, TTS model and voice settings after a transfer.
    • Skip-turn tool configurations add optional wait_timeout_secs (number, default -1). A value of -1 keeps the agent silent until the caller speaks.
    • Post-call webhook configurations add optional exclude_transcript (boolean, default false) to omit turn-by-turn transcripts from JSON transcription webhooks.
    • Conversation history redaction configurations add optional excluded_data_collection_ids (string array, maximum 50) to preserve selected extracted values while redacting their rationales.
    • Client tool response_timeout_secs now accepts -1 to wait indefinitely when expects_response is enabled.
  • List tickets
    • Added optional priorities (array) with low, medium, high and urgent values.
    • Added sort_by with created_at and priority values; the default is created_at.
    • Ticket responses now require title, nullable priority, and a priority_changes array. Ticket creation and update requests can set priority, and ticket status adds cancelled.
  • List tools - Added optional nullable used_by_agent_id (string) to return tools referenced by an agent’s main branch.
  • Export batch call results - Added optional nullable limit (integer, minimum 1) to export only the first recipients as a column preview.
  • List test invocations and Get test invocation
    • Test invocation summaries add required cancelled_count (integer) and optional cancelled (boolean, default false).
    • Test run status adds cancelled.
  • Get conversation details - Transcript entries add optional nullable platform_event with user_turn_timeout and skip_turn_wait_elapsed values.
  • Get agent version metadata - Added optional nullable merged_authors, an array describing the people who published changes merged into the main branch.
  • Get crawl job - Removed the deprecated max_depth response field.

Eleven v4 i Eleven v4 Turbo

Eleven v4 i Eleven v4 Turbo są już dostępne. Eleven v4 zapewnia wyższą jakość, bardziej ekspresyjną mowę i lepsze klonowanie głosu w ponad 90 językach. Eleven v4 Turbo oferuje tę samą rodzinę modeli do aplikacji działających w czasie rzeczywistym, ze średnim opóźnieniem inferencji około 100 ms.

Używaj eleven_v4 przez API Text to Dialogue do tworzenia treści i długich nagrań audio. Używaj eleven_v4_turbo przez WebSocket Text to Dialogue dla agentów i aplikacji interaktywnych.

Speech to Text

  • Edycja transkrypcji: Transkrypcja wsadowa i w czasie rzeczywistym obsługuje teraz instrukcję edycji w języku naturalnym o długości do 2000 znaków. Odpowiedzi wsadowe zwracają wynik w edited_transcript, a sesje w czasie rzeczywistym wysyłają zdarzenie edited_transcript. Zobacz przewodniki dla trybu wsadowego i w czasie rzeczywistym, aby poznać niezgodności, obsługę odpowiedzi i ceny.

ElevenAgents

  • Modele agentów: Dodano gpt-6-sol, gpt-6-luna, glm-52, deepseek-v41-flash, claude-opus-5 i claude-opus-5-5 do obsługiwanych opcji LLM agentów.
  • Zużycie w testach agentów: Podsumowania wywołań testowych mogą zawierać łączną liczbę kredytów i cenę w USD. Poszczególne uruchomienia testów mogą zawierać liczbę kredytów i rozbicie opłat.

Flows

  • API szablonów: Dodano endpointy do wyświetlania i pobierania opublikowanych szablonów Flows, uruchamiania szablonów i pobierania wyników. Uruchomienia mogą wskazywać opublikowaną wersję i wysyłać końcowy wynik do skonfigurowanego webhooka.

Text to Dialogue

  • Ciągłość generowania: Żądania Text to Dialogue mogą używać poprzedzającego lub następnego tekstu oraz identyfikatorów żądań, by zachować ciągłość między generowaniami.
  • Tryb głosu Professional: Żądania Text to Dialogue mogą używać wersji Instant Voice Clone głosu Professional Voice Clone, aby zmniejszyć opóźnienie lub zwiększyć ekspresję.

Wydania SDK

JavaScript SDK

  • v2.70.0 - Dodano typy edycji transkrypcji Speech to Text dla trybu wsadowego i czasu rzeczywistego, filtrowanie branchId oraz pola kosztów dla podsumowań wywołań testowych, automatyczne wykrywanie bazy wiedzy, usePvcAsIvc dla Text to Dialogue i model agenta deepseek-v41-flash.

Python SDK

  • v2.70.0 - Dodano typy edycji transkrypcji Speech to Text dla trybu wsadowego i czasu rzeczywistego, filtrowanie branch_id oraz pola kosztów dla podsumowań wywołań testowych, automatyczne wykrywanie bazy wiedzy, use_pvc_as_ivc dla Text to Dialogue i model agenta deepseek-v41-flash.

ElevenLabs CLI

  • v1.4.0 - Naprawiono żądania z podanym kluczem API, aby nie wysyłały też zapisanych danych OAuth, co powodowało błędy uwierzytelniania. Dodano opisy grupy poleceń opinii oraz instrukcje zgłaszania brakujących funkcji do wygenerowanych umiejętności agentów. Wygenerowano ponownie klienta API z endpointami szablonów Flows i aktualnymi typami schematów.

API

Nowe endpointy

Flows

  • Lista szablonów - GET /v1/flows/templates - Wyświetl opublikowane szablony i ich uruchamialne wersje.
  • Pobierz szablon - GET /v1/flows/templates/{template_id} - Pobierz szablon i jego uruchamialne wersje.
  • Utwórz uruchomienie szablonu - POST /v1/flows/templates/{template_id}/runs - Uruchom szablon z wartościami wejściowymi, opcjonalną wersją i opcjonalnym webhookiem.
  • Lista uruchomień szablonu - GET /v1/flows/templates/{template_id}/runs - Wyświetl uruchomienia szablonu z paginacją kursora i opcjonalnym filtrowaniem wersji.
  • Pobierz uruchomienie szablonu - GET /v1/flows/templates/{template_id}/runs/{run_id} - Pobierz uruchomienie szablonu i stan jego danych wyjściowych.

Zaktualizowane endpointy

Speech to Text

  • Konwertuj mowę na tekst - POST /v1/speech-to-text
    • Dodano opcjonalne dopuszczające null transcript_edit (ciąg znaków), które przyjmuje instrukcję edycji w języku naturalnym o długości do 2000 znaków.
    • Odpowiedzi dodają opcjonalne dopuszczające null edited_transcript. Udana edycja zawiera wymagane pola kind: "transcript" i text. Nieudana edycja zawiera wymagane pola kind: "error", error_type: "edit_failed" i message.
  • Speech to Text w czasie rzeczywistym przyjmuje transcript_edit (ciąg znaków) i wysyła zdarzenia edited_transcript z wymaganymi polami text i edited_text.

ElevenAgents

  • Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
    • Dodano gpt-6-sol, gpt-6-luna, glm-52, deepseek-v41-flash, claude-opus-5 i claude-opus-5-5 do enuma LLM.
    • Monitory alertów dodają opcjonalne dopuszczające null enabled (wartość logiczna), aby określić, czy monitor może wysyłać powiadomienia.
  • Lista rozmów i Wyszukiwanie tekstowe
    • data_collection_params i dynamic_variable_params dodają operatory neq i in. Wartości dla in używają separatora pionowej kreski.
    • evaluation_params przyjmuje success, failure lub unknown jako wartość wyniku.
  • Inteligentne wyszukiwanie - GET /v1/convai/conversations/messages/smart-search
    • Dodano opcjonalne dopuszczające null branch_id (ciąg znaków).
  • Lista wywołań testowych - GET /v1/convai/test-invocations
    • Dodano opcjonalne dopuszczające null branch_id (ciąg znaków).
    • Podsumowania wywołań testowych dodają opcjonalne dopuszczające null credits_used (liczba całkowita) i total_price (liczba).
  • Pobierz wywołanie testowe - GET /v1/convai/test-invocations/{test_invocation_id}
    • Poszczególne uruchomienia testów dodają opcjonalne dopuszczające null credits_used (liczba całkowita) i charging (ConversationChargingCommonModel).
  • Symuluj rozmowę i Streamuj symulację rozmowy
    • Zmieniono domyślną wartość opcjonalnego new_turns_limit z 10,000 na 100 i ustawiono maksymalną wartość na 100.
  • Utwórz zadanie crawlowania i Pobierz zadanie crawlowania
    • Dodano opcjonalne auto_discover (wartość logiczna, domyślnie false), aby podążać za linkami i dodawać nowo wykryte strony podczas automatycznej synchronizacji. Wymaga to enable_auto_sync: true.
  • Odśwież dokument bazy wiedzy - POST /v1/convai/knowledge-base/{documentation_id}/refresh
    • AutoSyncInfo dodaje opcjonalne auto_discover (wartość logiczna, domyślnie false), które wskazuje, czy odświeżanie crawluje i dodaje nowo wykryte strony.
  • Lista narzędzi serwera MCP - GET /v1/convai/mcp-servers/{mcp_server_id}/tools
    • Odpowiedzi dodają opcjonalne tool_approval_statuses (tablica). Każdy element zawiera wymagane tool_id (ciąg znaków) i state (up_to_date, needs_review lub not_approved) oraz opcjonalne pola zasad zatwierdzania i zatwierdzonej definicji.

Text to Dialogue

  • Konwertuj tekst na dialog, Streamuj tekst na dialog, Konwertuj ze znacznikami czasu i Streamuj ze znacznikami czasu
    • Dodano opcjonalne use_pvc_as_ivc (wartość logiczna, domyślnie false), aby używać wersji Instant Voice Clone głosu Professional Voice Clone.
    • Dodano opcjonalne dopuszczające null previous_text i future_text (ciągi znaków, maksymalnie 100 znaków) oraz previous_request_ids i next_request_ids (tablice ciągów znaków, maksymalnie 3 identyfikatory) dla ciągłości generowania.
    • Opcjonalny obiekt settings dodaje dopuszczające null similarity (liczba, 0–1, domyślnie 0.75).

Text to Speech

Flows

Voice Design

Obszary robocze

  • Utwórz klucz API konta usługi - POST /v1/service-accounts/{service_account_user_id}/api-keys
    • Dodano opcjonalne dopuszczające null tts_concurrency_limit, music_concurrency_limit i dubbing_concurrency_limit (liczby całkowite) dla kluczy API kont usług Enterprise.
  • Zaktualizuj klucz API konta usługi - PATCH /v1/service-accounts/{service_account_user_id}/api-keys/{api_key_id}
    • Dodano opcjonalne tts_concurrency_limit, music_concurrency_limit i dubbing_concurrency_limit. Każde pole przyjmuje liczbę całkowitą, clear, no_update lub null, a domyślnie ma wartość no_update.

Modele

  • Lista modeli - GET /v1/models
    • Wycofano wymagane max_characters_request_free_user i max_characters_request_subscribed_user. Te pola nie są egzekwowane; zamiast nich użyj maximum_text_length_per_request.

Obrazy i wideo

  • Wycofanie Sora 2 i Sora 2 Pro: OpenAI kończy działanie API Sora 24 września 2026 r. Oba modele zostały usunięte z selektora modeli Obrazy i wideo i przestaną generować tego dnia. Istniejące generacje pozostaną dostępne w historii. Flows i szablony korzystające z węzła Sora trzeba przełączyć na inny model wideo, np. Gemini Omni 1.1 Flash, zanim będzie można uruchomić je ponownie.
  • Wycofanie Seedance 1.5 Pro: ByteDance wycofuje Seedance 1.5 Pro 11 listopada 2026 r. Model nie jest już dostępny dla nowych generacji i przestanie działać tego dnia. Zamiast niego użyj modelu Seedance 2.0.

ElevenAgents

  • Równoległe wywołania narzędzi: Konfiguracja promptu agenta zawiera teraz enable_parallel_tool_calls (boolean, domyślnie true). Gdy jest włączona, obsługiwane modele mogą wykonać wiele narzędzi w jednej turze.
  • Modele agentów: Dodano gpt-6-astra do opcji LLM agenta.
  • Alerty: Alerty agenta obsługują teraz kanały Slack obok powiadomień PagerDuty i webhooków.
  • Wyszukiwanie numerów telefonów: Dodano endpoint numerów telefonów z paginacją opartą na kursorze i filtrami dostawcy, obsługi połączeń wychodzących, przypisanego agenta i gałęzi, etykiety oraz numeru telefonu.

Obrazy i wideo

  • Modele GPT Image 2.5: Generowanie obrazów obsługuje teraz gpt-image-2.5-flare i gpt-image-2.5-sunburst. Oba modele przyjmują do 10 obrazów referencyjnych, poziomy jakości do max, 14 stałych proporcji obrazu oraz auto, a także wynik 1K, 2K lub 4K.

Speech Engine

  • Limit czasu kaskady: Żądania tworzenia i aktualizacji Speech Engine przyjmują teraz cascade_timeout_seconds (number, 2–15, domyślnie 4), aby określić, jak długo ElevenLabs czeka na nadrzędny Speech Engine przed ponowną próbą.

Text to Speech

  • Granice tur z wieloma kontekstami: Znacznik is_final_audio_for_turn jest teraz wysyłany po każdym zbuforowanym bajcie dla danej tury, w tym w formatach MP3 i Opus. Klienci mogą używać znacznika jako dokładnej granicy tury bez przechodzenia na PCM.

Wydania SDK

JavaScript SDK

  • v2.69.0 - Dodano transcriptEdit do wrappera Speech to Text w czasie rzeczywistym, z edytowanym tekstem dostarczanym przez zdarzenia edited_transcript. Naprawiono weryfikację JWT Speech Engine dla kluczy API z sufiksami rezydencji danych. Dodano phoneNumbers.listV2 i metody szablonów Flows do wyświetlania i pobierania szablonów oraz wyświetlania, tworzenia i pobierania uruchomień. Wygenerowano ponownie klientów i typy dla GPT Image 2.5, alertów agentów Slack, równoległych wywołań narzędzi, gpt-6-astra, limitów równoczesności kluczy API kont usługowych, zerowej retencji Music, filtrów rozmów i statusów zatwierdzania narzędzi MCP.

Python SDK

  • v2.69.0 - Dodano transcript_edit do wrappera Speech to Text w czasie rzeczywistym, z edytowanym tekstem dostarczanym przez zdarzenia edited_transcript. Naprawiono weryfikację JWT Speech Engine dla kluczy API z sufiksami rezydencji danych oraz sprawiono, że play zgłasza błąd, gdy ffplay zawiedzie. Dodano phone_numbers.list_v2 i metody szablonów Flows do wyświetlania i pobierania szablonów oraz wyświetlania, tworzenia i pobierania uruchomień. Wygenerowano ponownie klientów i typy dla GPT Image 2.5, alertów agentów Slack, równoległych wywołań narzędzi, gpt-6-astra, limitów równoczesności kluczy API kont usługowych, zerowej retencji Music, filtrów rozmów i statusów zatwierdzania narzędzi MCP.

ElevenLabs CLI

  • v1.3.2 - Dodano opcjonalne metadane --intent do zbierania opinii o użyciu CLI. Dodano elevenlabs feedback missing-capability do zgłaszania workflow, których CLI nie obsługuje.

API

Nowe endpointy

ElevenAgents

  • Wyświetl stronę numerów telefonów - GET /v1/convai/v2/phone-numbers
    • Dodano opcjonalne parametry paginacji page_size (integer, 1–1000, domyślnie 100) i cursor (nullable string).
    • Dodano opcjonalne filtry search, label, phone_number, provider, supports_outbound, agent_id, branch_id, sort_by i sort_direction. sort_by przyjmuje label lub phone_number; sort_direction domyślnie ma wartość asc.
    • Odpowiedź zawiera wymagane phone_numbers (array), opcjonalne nullable next_cursor (string) i has_more (boolean, domyślnie false).

Zaktualizowane endpointy

ElevenAgents

  • Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
    • Konfiguracja promptu dodaje enable_parallel_tool_calls (boolean, domyślnie true). Nadpisania workflow przyjmują nullable boolean.
    • Enum LLM dodaje gpt-6-astra, w tym nadpisania inicjowania rozmowy.
    • Powiadomienia integracji alertów używają teraz integration_type do wyboru pagerduty lub slack. Powiadomienia Slack wymagają connection_id i channel_id (string); channel_id przyjmuje 1–64 znaki.
  • Wyświetl rozmowy i Rozwiąż odwołanie do rozmowy
    • data_collection_params nie przyjmuje już operatora missing. Użyj pustej wartości, aby dopasować rozmowy, w których pole nie zostało zebrane.
    • Pusta wartość w dynamic_variable_params dopasowuje rozmowy, w których zmienna nie została ustawiona.
  • Utwórz Speech Engine, Pobierz Speech Engine i Zaktualizuj Speech Engine
    • Dodano cascade_timeout_seconds (number, 2–15). Żądania tworzenia domyślnie używają 4, żądania aktualizacji przyjmują wartość nullable, a odpowiedzi wymagają tego pola.

Obrazy i wideo

  • Utwórz generowanie obrazu - POST /v1/flows/image
    • Dodano warianty żądań dla gpt-image-2.5-flare i gpt-image-2.5-sunburst.
    • Oba warianty wymagają prompt i model_id, przyjmują do 10 images oraz dodają resolution (1K, 2K lub 4K, domyślnie 1K).
    • quality przyjmuje low, medium, high, xhigh lub max i domyślnie ma wartość high. aspect_ratio przyjmuje auto oraz 14 stałych proporcji i domyślnie ma wartość 16:9.

Dubbing

Baza wiedzy

  • Utwórz zadanie indeksowania - POST /v1/convai/knowledge-base/crawl
    • Wycofano max_depth (integer, domyślnie 3). Pole nie ma już działania i nie ma minimalnych ani maksymalnych ograniczeń.
    • Metadane zadania indeksowania nie wymagają już max_depth.

Użytkownik

Zmiany w schemacie

Text to Speech

  • Wiadomości WebSocket audio i final z wieloma kontekstami definiują teraz is_final_audio_for_turn jako występujące po dostarczeniu wszystkich zbuforowanych bajtów dla tury.

ElevenAgents

  • Kolejkowanie połączeń i dźwięk oczekiwania: Dodaliśmy kolejkowanie połączeń dla agentów, którzy osiągnęli limit równoczesnych połączeń. Osoby w kolejce słyszą dźwięk oczekiwania i otrzymują zdarzenia queue_status, dopóki nie zostaną przyjęte lub nie minie limit czasu. Nowe metody API pozwalają przesyłać lub usuwać własny dźwięk oczekiwania.
  • Metadane wersji testowej: Wyniki testów agenta wskazują teraz wersję agenta, na której je uruchomiono, oraz to, czy obejmowały zmiany w wersji roboczej. Podsumowania wywołań pokazują też, kiedy częściowe ponowne przesłania uruchomiono na innych wersjach.
  • Metadane modelu i konta: Konfiguracja LLM agenta obsługuje teraz gemini-3.8-flash. Odpowiedzi kont WhatsApp wskazują, czy konto korzysta z Cloud API, czy z procesu rejestracji współistniejącej.

Muzyka

  • Obsługa API Music v2.5: Endpointy Music i SDK obsługują teraz music_v2_5. Fragmenty generowania planu kompozycji obsługują do 6132 znaków, maksymalnie 30 wierszy po 200 znaków.

Wydania SDK

JavaScript SDK

  • v2.68.0 - Dodano metody przesyłania i usuwania dźwięku oczekiwania agenta. Wygenerowano ponownie typy dla kolejkowania połączeń, odwołań do procedur, tworzenia gałęzi wersji roboczej, limitów zapytań RAG, metadanych wersji testowej, gemini-3.8-flash i music_v2_5.

Python SDK

  • v2.68.0 - Dodano synchroniczne i asynchroniczne metody przesyłania oraz usuwania dźwięku oczekiwania agenta. Wygenerowano ponownie typy dla kolejkowania połączeń, procedur, tworzenia gałęzi wersji roboczej, limitów zapytań RAG, metadanych wersji testowej, gemini-3.8-flash i music_v2_5. Wrapper compose_detailed obsługuje teraz każdy wygenerowany identyfikator modelu muzycznego oraz plany kompozycji oparte na promptach i fragmentach.

iOS SDK

  • v3.3.1 - Uzgadnia wiadomości agenta według response_id zamiast event_id, zachowując wiele odpowiedzi wokół wywołań narzędzi i zapobiegając przypinaniu przesyłanych części lub poprawek do niewłaściwej wiadomości.

ElevenLabs CLI

  • v1.3.0 - Dodano opcjonalne metadane --intent do generowanych poleceń API. Dodano elevenlabs feedback missing-capability do zgłaszania workflow, których CLI nie obsługuje.

Pakiety

  • @elevenlabs/convai-widget-core@0.18.2 i @elevenlabs/convai-widget-embed@0.18.2 - Naprawiono zduplikowane odpowiedzi agenta po wywołaniach narzędzi i procedur. Przesyłane odpowiedzi tekstowe zachowują formatowanie Markdown, a rozmowy głosowe nie renderują już niewypowiedzianych przesyłanych części czatu. Pakiet embed ogranicza też zdarzenia user_activity do jednego na sekundę i usuwa limit po zakończeniu sesji.

API

Nowe endpointy

ElevenAgents

  • Prześlij dźwięk oczekiwania agenta - POST /v1/convai/agents/{agent_id}/hold-audio
    • Przyjmuje wymagany hold_audio_file (binarny) jako dane formularza multipart. Plik musi być w formacie MP3 lub WAV, mieć maksymalnie 40 MB i 180 sekund.
    • Zwraca wymagane agent_id (string) i hold_audio (AgentHoldAudioConfig). Obiekt dźwięku oczekiwania wymaga audio_path, audio_url, original_filename (string), duration_secs (number) i size_bytes (integer).
  • Usuń dźwięk oczekiwania agenta - DELETE /v1/convai/agents/{agent_id}/hold-audio
    • Usuwa własny klip, aby osoby w kolejce słyszały domyślny ton oczekiwania.
    • Zwraca wymagane agent_id (string).

Zaktualizowane endpointy

ElevenAgents

  • Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
    • Dodano opcjonalne platform_settings.queueing_config (AgentQueueingConfig) z enabled (boolean, domyślnie false) i wait_timeout_seconds (integer, 1–1800, domyślnie 180).
    • Odpowiedzi konfiguracji kolejki zawierają tylko do odczytu nullable hold_audio (AgentHoldAudioConfig). Odpowiedzi agenta zawierają też opcjonalne default_hold_audio_url (string).
  • Pobierz rozmowę - GET /v1/convai/conversations/{conversation_id}
    • Metadane dodają opcjonalne nullable queue_wait_secs (number). Czas w kolejce nie jest uwzględniany w call_duration_secs ani rozliczanym czasie.
  • Utwórz gałąź agenta - POST /v1/convai/agents/{agent_id}/branches
    • Dodano opcjonalne include_draft (boolean, domyślnie false). Gdy ma wartość true, gałąź utworzona z końca gałęzi obejmuje zestaw procedur z wersji roboczej wywołującego.
  • Wyświetl procedury oraz endpointy tworzenia, pobierania i wersji roboczej procedur
    • Elementy listy dodają opcjonalne referenced_tool_ids, referenced_kb_ids, referenced_procedure_ids i referenced_dynamic_variables (tablice stringów).
    • Odpowiedzi agenta i podglądu scalania dodają opcjonalne procedures, mapę z kluczem będącym identyfikatorem procedury.
  • Wyświetl wywołania testowe - GET /v1/convai/test-invocations
    • Dodano opcjonalne nullable search (string) do filtrowania testów i folderów według nazwy.
  • Uruchom testy agenta i Pobierz wywołanie testowe
    • Odpowiedzi wywołania zestawu testów i uruchomienia testu jednostkowego dodają opcjonalne nullable version_id (string) oraz opcjonalne ran_against_draft (boolean, domyślnie false).
    • Podsumowania wywołań dodają też opcjonalne runs_diverged_from_version (boolean, domyślnie false).
  • POST /v1/convai/agents/{agent_id}/knowledge-base/rag-query
    • Treść żądania dodaje opcjonalne nullable nadpisania specyficzne dla zapytania: max_documents_length (integer, 1–50 000) i max_retrieved_rag_chunks_count (integer, 1–20).
  • Pobierz konto WhatsApp - GET /v1/convai/whatsapp-accounts/{phone_number_id}
    • Dodano opcjonalne account_type (WhatsAppAccountType, domyślnie cloud_api). Wartości to cloud_api i coexistence.
  • Oblicz oczekiwane użycie LLM - POST /v1/convai/agent/{agent_id}/llm-usage/calculate
    • LLMUsageCalculatorLLMResponseModel dodaje wymagane price_per_message (number).

Muzyka

  • MusicModelID dodaje music_v2_5 dla POST /v1/music/video-to-music, POST /v1/music/plan, Twórz muzykę, POST /v1/music/detailed, POST /v1/music/detailed/stream, POST /v1/music/stream, POST /v1/music/upload i POST /v1/music/finetunes.
  • GenerationChunk.text zwiększa maxLength z 6000 do 6132 znaków dla POST /v1/music/plan, POST /v1/music, POST /v1/music/detailed, POST /v1/music/detailed/stream, POST /v1/music/stream i POST /v1/music/upload. Nazwy sekcji mogą zawierać 1–100 znaków, a fragmenty do 30 wierszy po 200 znaków.

Zmiany w schemacie

ElevenAgents

  • Zdarzenia serwera w czasie rzeczywistym dodają queue_status. Wymagane queue_status_event.status przyjmuje waiting, admitted lub timed_out; timed_out poprzedza kod zamknięcia WebSocket 4300. Dźwięk oczekiwania nadal jest dostarczany jako zwykłe zdarzenia audio.
  • Enum LLM dodaje gemini-3.8-flash, w tym nadpisania inicjowania rozmowy.
  • Unie wyników narzędzi systemowych rozmowy dodają start_procedure_success, start_procedure_error, end_procedure_success i end_procedure_error.
  • FeaturesUsageCommonModel dodaje opcjonalne statusy funkcji freeform_procedure i structured_procedure.

Scribe v2 Medical

Scribe v2 Medical jest teraz ogólnie dostępny. To model wsadowego rozpoznawania mowy wyspecjalizowany w nagraniach medycznych i klinicznych, rozliczany w tej samej stawce co Scribe v2.

Przekaż scribe_v2_medical jako model_id w Utwórz transkrypcję. Podpowiedzi słów kluczowych, wykrywanie encji, diarizacja mówców i tryb bez dosłownej transkrypcji działają tak samo jak w Scribe v2.


ElevenAgents

  • Zgłoszenia rozmów dla całego workspace: Dodano Listę zgłoszeń workspace, aby pobierać zgłoszenia triage rozmów ze wszystkich dostępnych agentów. Filtruj według statusu lub przypisanej osoby i używaj paginacji kursorem, aby pobrać do 100 zgłoszeń na stronę.
  • Filtry rozmów według zmiennych dynamicznych: Lista rozmów i Wyszukiwanie tekstowe wiadomości rozmów przyjmują teraz powtarzalne filtry dynamic_variable_params. Użyj name:op:value z eq, gt, gte, lt lub lte; operatory porównania wymagają wartości numerycznych.
  • Wykrywanie automatycznej sekretarki Twilio: Konfiguracje telefonii wychodzącej i połączeń wsadowych obsługują teraz opcjonalne twilio_machine_detection. Wybierz enable, aby wcześnie określić, czy odebrał człowiek czy automat, albo detect_message_end, aby zaczekać na koniec powitania poczty głosowej. Wyniki są przekazywane przez nowe zdarzenie webhooka answering_machine_detection.
  • Ograniczenia wartości zbieranych danych: Właściwości zbierania danych mogą teraz używać allowed_values, aby wskazać zmienną dynamiczną zawierającą dozwolone wartości. Poprzednie pole allowed_values_dynamic_variable jest przestarzałe.
  • Metadane agenta: Odpowiedzi Lista gałęzi agenta wskazują teraz, kiedy utworzono szkic i czy poprzedza on szczyt gałęzi. Podsumowania agenta i Speech Engine wymagają teraz voice_id.
  • Źródłowe URL-e bazy wiedzy: Fragmenty zapytań RAG agenta zawierają teraz wymagane nullable source_url, z monitorowanym URL-em dokumentów URL.
  • Załączniki w odpowiedziach agenta: Zdarzenia WebSocket agent_response zawierają teraz opcjonalne attachments. Każdy załącznik wymaga url i name, a może zawierać mime_type.

Workspace

  • Limity platformy dla kluczy API: Odpowiedzi dla kluczy API kont usług mogą teraz zawierać firmowe platform_limits dla kredytów, Professional Voice Clones oraz współbieżności TTS, Dubbing i Music.

Wydania SDK

JavaScript SDK

  • v2.67.0 - Dodano dynamicVariableParams do żądań listowania rozmów i wyszukiwania tekstowego. Wygenerowano ponownie typy dla wykrywania automatycznej sekretarki Twilio, ograniczeń wartości zbieranych danych, limitów platformy kluczy API, metadanych szkicu gałęzi agenta i źródłowych URL-i bazy wiedzy.

Python SDK

  • v2.67.0 - Dodano dynamic_variable_params do synchronicznych i asynchronicznych metod listowania rozmów i wyszukiwania tekstowego. Wygenerowano ponownie typy dla wykrywania automatycznej sekretarki Twilio, ograniczeń wartości zbieranych danych, limitów platformy kluczy API, metadanych szkicu gałęzi agenta i źródłowych URL-i bazy wiedzy. Klient zamiany tekstu na mowę w czasie rzeczywistym nie przekazuje już wewnętrznego znacznika pominięcia do połączenia.

ElevenLabs CLI

  • v1.2.0 - Dodano polecenie elevenlabs say i jego umiejętność agenta, wygenerowano ponownie powiązania poleceń API oraz ustawiono eleven_v3 jako domyślny model TTS.

Pakiety

API

Nowe endpointy

ElevenAgents

  • Lista zgłoszeń workspace - GET /v1/convai/triage-tickets
    • Zwraca zgłoszenia triage rozmów ze wszystkich agentów, do których wywołujący ma dostęp, posortowane od najnowszych.
    • Dodano opcjonalne parametry zapytania page_size (liczba całkowita, 1–100, domyślnie 100), status (AgentConversationTicketStatus), assignee_user_id (string lub unassigned) i cursor (string).
    • Zwraca GetAgentConversationTicketsPageResponseModel.

Zaktualizowane endpointy

ElevenAgents

  • Lista rozmów - GET /v1/convai/conversations
    • Dodano opcjonalne nullable dynamic_variable_params (powtarzalna tablica stringów). Każda wartość używa formatu name:op:value, gdzie op to eq, gt, gte, lt lub lte.
  • Wyszukiwanie tekstowe wiadomości rozmów - GET /v1/convai/conversations/messages/text-search
    • Dodano opcjonalne nullable dynamic_variable_params (powtarzalna tablica stringów) z tą samą składnią.
  • Połączenie wychodzące Twilio, Połączenie wychodzące SIP trunk, Połączenie wychodzące Exotel i Wyślij połączenia wsadowe
    • telephony_call_config używa teraz osobnych schematów wejścia i wyjścia.
    • Dodano opcjonalne nullable twilio_machine_detection (TwilioMachineDetectionConfig). Jego mode akceptuje enable lub detect_message_end i domyślnie ma wartość enable. Ustawienie jest ignorowane przez dostawców innych niż Twilio oraz w połączeniach przychodzących.
  • Importuj numer telefonu - POST /v1/convai/phone-numbers
    • Dodano opcjonalne nullable account_auth_token (string) dla importów kluczy API Twilio do weryfikacji podpisów webhooków przychodzących.

Zmiany w schematach

ElevenAgents

  • WebhookEventType zyskuje answering_machine_detection.
  • AgentBranchSummary zyskuje opcjonalne nullable draft_created_at (liczba całkowita) oraz opcjonalne draft_is_behind_tip (wartość logiczna, domyślnie false).
  • AgentKnowledgeBaseRagChunkResponseModel zyskuje wymagane nullable source_url (string).
  • AgentSummaryResponseModel i SpeechEngineSummaryResponse zyskują wymagane voice_id (string).
  • AnalysisProperty zyskuje opcjonalne nullable name (string) i allowed_values (AllowedValues). LiteralJsonSchemaProperty także zyskuje allowed_values. Oba oznaczają allowed_values_dynamic_variable jako przestarzałe.
  • DataCollectionResultCommonModel zyskuje opcjonalne nullable name (string).
  • WorkspaceApiKeyResponseModel zyskuje opcjonalne nullable platform_limits (PlatformLimits).
  • Narzędzie MCP Icon zyskuje opcjonalne nullable theme (light lub dark).
  • SMBToolConfig zyskuje warianty parametrów send_custom_email, create_service_quote_request i create_product_quote_request.
  • Schematy parametrów zapytań webhooków i konfiguracja połączeń telefonicznych używają teraz osobnych modeli wejścia i wyjścia.
  • Zdarzenia WebSocket agent_response zyskują opcjonalne attachments (tablica). Każdy element wymaga url i name (stringi) oraz przyjmuje opcjonalne mime_type (string).

ElevenCreative

  • ReferenceVideo.studio_clip używa teraz StudioClipLocator zamiast StudioClipReference. Pola i format przesyłania pozostają bez zmian.

ElevenAgents

  • Wprowadzanie danych z klawiatury telefonu: Konfiguracja rozmowy agenta obsługuje teraz opcjonalne dtmf_input_settings dla wprowadzania DTMF. Ustaw czas oczekiwania na cyfrę, użyj # jako znaku końca i ukryj wpisy z klawiatury w transkrypcjach, logach i analizie.
  • Historia załączników w rozmowie: Wpisy transkrypcji w Pobierz rozmowę zawierają teraz file_inputs — tablicę z ID, nazwą, typem MIME i URL-em każdego załączonego pliku.
  • Filtrowanie po tagach agenta: Lista agentów przyjmuje teraz opcjonalny parametr zapytania tags. Powtórz parametr, aby dopasować agentów z dowolnym z podanych tagów.
  • Kontekst kampanii wsadowej: Pobierz rozmowę identyfikuje teraz połączenia wsadowe za pomocą opcjonalnych metadanych campaign, zawierających wymagane campaign_id i campaign_lead_id.

Muzyka

Dubbing

Wydania SDK

JavaScript SDK

  • v2.66.0 - Dodano fileIds do sendMultimodalMessage, dzięki czemu jedna wiadomość może zawierać wiele załączników.

Python SDK

  • v2.66.0 - Dodano file_ids do send_multimodal_message, dzięki czemu jedna wiadomość może zawierać wiele załączników.

Android SDK

  • v0.12.2 - Zachowano callback onUnhandledClientToolCall podczas podłączania zdarzeń sesji. Nieobsłużone wywołania narzędzi klienta, które oczekują odpowiedzi, otrzymują teraz automatyczną odpowiedź z błędem zamiast pozostawać nierozwiązane.

ElevenLabs CLI

  • v1.1.0 - Wygenerowano ponownie powiązania poleceń API i dodano atrybucję żądań dla poleceń w workflow ElevenAgents. Polecenia dodają cmd/<command> do User-Agent CLI, dzięki czemu można rozróżnić żądania z workflow, takich jak agents push i agents create.

Pakiety

API

Zaktualizowane endpointy

ElevenAgents

  • Lista agentów - GET /v1/convai/agents
    • Dodano opcjonalne nullable tags (tablica stringów). Powtórz parametr zapytania, aby dopasować dowolny podany tag.
  • Utwórz agenta, Pobierz agenta i Zaktualizuj agenta
    • Dodano opcjonalne nullable conversation_config.conversation.dtmf_input_settings (DTMFInputConfig). Obsługuje dtmf_input_timeout (liczba, 0,5–10 sekund, domyślnie 2), hash_terminator (wartość logiczna, domyślnie true) i redact_input (wartość logiczna, domyślnie false).
    • Dodano opcjonalne sip_refer_play_dialtone (wartość logiczna, domyślnie true) do konfiguracji przekierowania numeru telefonu. Ustaw false, aby oryginalne połączenie pozostało ciche podczas wykonywania przekierowania SIP REFER.
    • Narzędzia systemowe procedur rozpoczęcia i zakończenia przyjmują teraz ProcedureVersionRef lub ProcedureDraftRef. Odwołania do szkiców wymagają procedure_id (string) i ustawiają version_id na null.
  • Pobierz rozmowę - GET /v1/convai/conversations/{conversation_id}
    • Dodano file_inputs (tablica ConversationHistoryTranscriptFileInputResponseModel) do wpisów transkrypcji. Każdy element wymaga file_id, original_filename, mime_type i file_url (stringi).
    • Dodano opcjonalne nullable campaign (BatchCallingCampaignInformation) do metadanych połączeń wsadowych. Obiekt wymaga campaign_id i campaign_lead_id (stringi).
    • Dodano dtmf do ChatSourceMedium.
  • Typy problemów zgłoszeń triage rozmów zyskują incorrect_information, documentation_gap, platform_bug i wrong_action.

Muzyka

  • Szczegółowe generowanie muzyki (POST /v1/music/detailed) i Strumieniowanie muzyki ze szczegółami (POST /v1/music/detailed/stream)
    • Dodano opcjonalne with_waveform_visual (wartość logiczna, domyślnie false).
    • Szczegółowe odpowiedzi zyskują nullable waveform_visual (tablica liczb całkowitych), próbkowane cztery razy na sekundę w zakresie od -1000 do 1000.
  • Prześlij muzykę - POST /v1/music/upload
    • Dodano opcjonalne with_waveform_visual (wartość logiczna, domyślnie false) oraz nullable waveform_visual (tablica liczb całkowitych) w odpowiedzi.

ElevenCreative

Dubbing

  • Lista projektów Dubbing - GET /v1/dubbing/project
    • page_size pozostaje opcjonalną liczbą całkowitą z domyślną wartością 20, ale wartości są teraz ograniczane do 1–100 zamiast odrzucane.
    • Filtr status dokumentuje teraz queued, preparing, ready i failed.
    • Przekaż next_cursor z poprzedniej odpowiedzi w cursor; pomiń go dla pierwszej strony.
  • Lista języków docelowych - GET /v1/dubbing/project/{project_id}/language
    • page_size pozostaje opcjonalną liczbą całkowitą z domyślną wartością 20, ale wartości są teraz ograniczane do 1–100 zamiast odrzucane.
    • Filtr status obsługuje queued, processing, completed, stale i failed.
    • Przekaż next_cursor z poprzedniej odpowiedzi w cursor; pomiń go dla pierwszej strony.

Zmiany w schematach

Workspace

  • PendingSubscriptionSwitchResponseModel.next_tier zyskuje grant.