Skip to navigation

ElevenAgents

  • Afbakening van MCP-tools in agentworkflows: Nodes in agentworkflows kunnen nu beperken welke MCP-tools een subagent mag aanroepen. Wanneer toolovererving op een node is uitgeschakeld, worden alleen de expliciet geselecteerde MCP-tools geladen voor die subagent. Zo krijgen teams nauwkeurige controle over toegang tot tools per workflowstap.

  • Bestandsuploads in gesprekken: De endpoints agent maken en agent bijwerken ondersteunen nu een veld file_input in ConversationConfig. Wanneer dit is ingeschakeld, kunnen eindgebruikers afbeeldingen of pdf’s toevoegen in de chat (vereist een LLM met ondersteuning voor multimodale invoer). Configureerbaar met enabled (boolean) en max_files_per_conversation (integer).

  • Gespreksanalyse opnieuw uitvoeren: Het nieuwe endpoint gespreksanalyse uitvoeren (POST /v1/convai/conversations/{conversation_id}/analysis/run) evalueert een voltooid gesprek opnieuw met de huidige evaluatiecriteria en instellingen voor gegevensverzameling van de agent, zonder dat een nieuw gesprek nodig is.

  • Toolreacties mocken voor tests: Simulatietests voor agents en aanroepen van testsuites ondersteunen nu een veld tool_mock_config om te bepalen hoe toolaanroepen tijdens het testen worden afgehandeld. Gebruik MockingStrategy (all, selected, none) om te kiezen welke tools worden gemockt en MockNoMatchBehavior (call_real_tool, raise_error) om het terugvalgedrag in te stellen wanneer geen mock overeenkomt.

  • Sorteervolgorde voor tekstzoekopdrachten: Het endpoint gesprekken doorzoeken op tekst accepteert nu een queryparameter sort_by met de waarden search_score (standaard) of created_at, zodat je kunt bepalen of resultaten worden gesorteerd op relevantie of recentheid.

  • mTLS-authverbindingen: Authverbindingen voor agents ondersteunen nu wederzijdse TLS (mtls) als auth_type, naast de bestaande opties. Nieuwe schema’s CreateMTLSAuthRequest en MTLSAuthResponse zijn beschikbaar voor het maken en ophalen van met mTLS geauthenticeerde verbindingen.

  • Bericht voor maximale duur: Het veld max_conversation_duration_message is toegevoegd aan de agentconfiguratie. Als dit is ingesteld op een niet-lege string, stuurt de agent dit bericht naar de gebruiker wanneer de maximale gespreksduur is bereikt.

  • Branch en omgeving bij het starten van een gesprek: Optionele velden branch_id en environment zijn toegevoegd aan de clientgegevens voor het starten van een gesprek (ConversationInitiationClientDataRequest) en aan de requestbody voor batchaanroep indienen, waarmee routering naar specifieke agentbranches en omgevingen mogelijk wordt.

Muziek

  • Video naar muziek: Het nieuwe endpoint POST /v1/music/video-to-music genereert achtergrondmuziek op basis van een of meer videobestanden. Video’s worden achter elkaar gecombineerd. Accepteert optionele description (maximaal 1.000 tekens) en tags (maximaal 10 stijltags, zoals upbeat of cinematic) om de gegenereerde track te beïnvloeden.

Speech to Text

  • Transcriberen vanaf URL: Het endpoint spraak naar tekst converteren accepteert nu een parameter source_url (string, optioneel) om audio of video vanaf een gehoste URL te transcriberen, waaronder YouTube-video’s, TikTok-video’s en andere videohostingdiensten. Dit kan worden gebruikt als alternatief voor het rechtstreeks uploaden van een bestand.

Stemmen

  • Totaalaantal in lijst met gedeelde stemmen: Het antwoord van gedeelde stemmen weergeven bevat nu een veld total_count, waardoor je eenvoudiger paginering kunt implementeren en resultaataantallen kunt weergeven.

SDK-releases

JavaScript SDK

  • v2.41.0 - Ondersteuning toegevoegd voor het WebSocket-eventtype multimodal_message in realtime gesprekken van ElevenAgents. Inclusief Fern-regeneratie voor de nieuwste updates van het API-schema.
  • v2.41.1 - Fern-regeneratie voor het API-schema van 1 april 2026.

Python SDK

  • v2.41.0 - audio_interface optioneel gemaakt in de modus voor gesprekken met alleen tekst, waarmee een runtimefout is opgelost bij het starten van een sessie zonder audio. Inclusief Fern-regeneratie voor het nieuwste API-schema.

Pakketten

Deze release bevat de nieuwe v1.0.0 van de Agent SDK’s aan clientzijde. Deze bevat belangrijke niet-achterwaarts compatibele wijzigingen in @elevenlabs/client, @elevenlabs/react en @elevenlabs/react-native. Bekijk de migratiehandleiding hieronder voordat je upgradet.

Om je te helpen upgraden, hebben we een Skill uitgebracht waarmee je agents voor je kunnen upgraden. Installeer deze met

npx skills add elevenlabs/packages

Je kunt meer lezen over de v1-release en de verbeteringen ervan op onze developerblog.

  • @elevenlabs/client@1.0.0 — Niet-achterwaarts compatibele wijzigingen:

    • Klassen Input en Output worden niet langer geëxporteerd. Gebruik in plaats daarvan de interfaces InputController en OutputController uit @elevenlabs/client.
    • Conversation is niet langer een klasse — het is nu een namespace-object en een typealias voor TextConversation | VoiceConversation. Verwijder alle controles met instanceof Conversation en subklassen.
    • Het standaard connectionType wordt nu afgeleid van de gespreksmodus: spraakgesprekken gebruiken standaard "webrtc" en gesprekken met alleen tekst gebruiken "websocket". Geef connectionType: "websocket" expliciet door om het eerdere gedrag voor spraak te behouden.
    • VoiceConversation.wakeLock is nu privé. Geef useWakeLock: false door in de sessieopties om wake lock-beheer uit te schakelen.
    • changeInputDevice() en changeOutputDevice() retourneren nu Promise<void> in plaats van Promise<Input> of Promise<Output>.
    • Vervang conversation.input.analyser.getByteFrequencyData(data) door conversation.getInputByteFrequencyData().
    • Vervang conversation.input.setMuted(v) door conversation.setMicMuted(v).
    • Vervang conversation.output.gain.gain.value = v door conversation.setVolume({ volume: v }).
    • getInputVolume(), getOutputVolume(), getInputByteFrequencyData() en getOutputByteFrequencyData() retourneren nu 0 of een lege Uint8Array in plaats van een fout te genereren wanneer geen gesprek actief is.
  • @elevenlabs/react@1.0.0 — Niet-achterwaarts compatibele wijzigingen:

    • useConversation vereist nu een bovenliggend ConversationProvider. Omring je componentenboom met <ConversationProvider> en verplaats opties naar de provider of de hook.
    • Exports DeviceFormatConfig en DeviceInputConfig zijn verwijderd. Gebruik in plaats daarvan FormatConfig en InputDeviceConfig uit @elevenlabs/client.
    • Nieuwe gedetailleerde hooks vervangen de monolithische useConversation voor betere renderprestaties: useConversationControls(), useConversationStatus(), useConversationInput(), useConversationMode(), useConversationFeedback() en useRawConversation(). Elke hook abonneert zich alleen op de status die deze nodig heeft, waardoor onnodige re-renders worden voorkomen.
    • Nieuwe hook useConversationClientTool(name, handler) voor het registreren van clienttools die agents kunnen aanroepen, met automatische opschoning bij unmounten.
    • Ondersteuning toegevoegd voor gecontroleerd dempen via de props isMuted en onMutedChange op ConversationProvider.
  • @elevenlabs/react-native@1.0.0 — Niet-achterwaarts compatibele wijzigingen:

    • De eerdere API van ElevenLabsProvider en useConversation is verwijderd en vervangen door re-exports uit @elevenlabs/react. Vervang ElevenLabsProvider door ConversationProvider en useConversation door de gedetailleerde hooks (useConversationControls, useConversationStatus, enzovoort).
    • In React Native vult het pakket nu WebRTC-globals aan, configureert het de native AudioSession en registreert het bij import een platformspecifieke strategie voor spraaksessies.
  • @elevenlabs/types@0.8.0 - Exporteert de runtime-array CALLBACK_KEYS met alle sleutels uit de interface Callbacks, die intern door de React SDK wordt gebruikt voor callbackcompositie.

  • @elevenlabs/client@0.16.0 - Het server-naar-client-WebSocket-event guardrail_triggered en de callback onGuardrailTriggered toegevoegd, die wordt aangeroepen wanneer de server tijdens een gesprek een schending van een guardrail detecteert. Ook typediscriminanten toegevoegd aan TextConversation en VoiceConversation om vernauwing van discriminated unions mogelijk te maken, en overloads voor startSession toegevoegd die het retourtype vernauwen op basis van de optie textOnly.

  • @elevenlabs/react-native@0.6.0 - Het WebSocket-event guardrail_triggered en de callback onGuardrailTriggered toegevoegd, in lijn met @elevenlabs/client@0.16.0.

  • @elevenlabs/client@1.1.0 - Ondersteuning aan clientzijde toegevoegd voor het mocken van toolreacties in agentgesprekken, waarmee testscenario’s mogelijk worden die uitkomsten van toolaanroepen simuleren zonder echte tools aan te roepen.

  • @elevenlabs/types@0.9.0 - Typedefinities toegevoegd voor het mocken van toolreacties in agentgesprekken.

  • @elevenlabs/react@1.0.1 - Bijgewerkt met afhankelijkheid van @elevenlabs/client@1.1.0.

  • @elevenlabs/react-native@1.0.1 - Bijgewerkt met afhankelijkheid van @elevenlabs/client@1.1.0 en @elevenlabs/react@1.0.1.

API

Nieuwe endpoints

  • Gespreksanalyse uitvoeren - POST /v1/convai/conversations/{conversation_id}/analysis/run - Voert de analyse voor een voltooid gesprek opnieuw uit met de huidige evaluatiecriteria en instellingen voor gegevensverzameling van de agent.

  • POST /v1/music/video-to-music - Genereert achtergrondmuziek op basis van een of meer videobestanden die als multipart-formuliergegevens zijn aangeleverd.

Bijgewerkte endpoints

ElevenAgents

  • Agent maken, agent bijwerken

    • Veld file_input (FileInputConfig, optioneel) toegevoegd aan ConversationConfig, waarmee bestandsuploadondersteuning (afbeeldingen, pdf’s) in chatgesprekken mogelijk wordt wanneer de LLM multimodale invoer ondersteunt
    • Veld max_conversation_duration_message (string, optioneel) toegevoegd aan de agentconfiguratie — de agent stuurt dit bericht wanneer de tijdslimiet van de sessie is bereikt
  • Test maken, test bijwerken

    • Veld tool_mock_config (object, optioneel) toegevoegd — een map van toolnamen naar vermeldingen van ToolResponseMockConfig voor het beheren van mockgedrag van tools tijdens simulaties
  • Gesprekken doorzoeken op tekst

    • Queryparameter sort_by (string, optioneel) toegevoegd — accepteert search_score (standaard) of created_at
  • Batchaanroep indienen

    • Veld branch_id (string, optioneel) toegevoegd om een specifieke agentbranch te targeten
    • Veld environment (string, optioneel) toegevoegd om de doelomgeving op te geven
  • Uitgaande Twilio-aanroep, uitgaande SIP-trunkaanroep

    • Clientgegevens voor het starten van een gesprek accepteren nu de optionele velden branch_id en environment

Speech to Text

  • Spraak naar tekst converteren

    • Parameter source_url (string, optioneel) toegevoegd — accepteert een URL naar een audio- of videobestand, YouTube-video, TikTok-video of andere gehoste media als alternatief voor een bestandsupload

Stemmen

Geforceerde uitlijning