ElevenAgents

  • API für Umgebungsvariablen: Neue Endpunkte für Umgebungsvariablen zur Verwaltung von Konfigurationen auf Workspace-Ebene, auf die Agents zur Laufzeit über {{system_env__<label>}}-Templating zugreifen können. Unterstützt die Variablentypen String, Secret und Auth-Verbindung mit Wertüberschreibungen pro Umgebung. Zu den Endpunkten gehören Erstellen, Auflisten, Abrufen und Aktualisieren.

  • Verwaltung von Auth-Verbindungen: Neue API für Auth-Verbindungen auf Workspace-Ebene zur Verwaltung von Anmeldedaten, die von Agent-Tools und Integrationen verwendet werden. Unterstützt mehrere Authentifizierungsmethoden, darunter OAuth2-Client-Anmeldedaten, JWT, Basic Auth, Bearer-Token, benutzerdefinierte Header und von Integrationen verwaltete OAuth2-Autorisierungscode-Flows. Zu den Endpunkten gehören Erstellen, Auflisten und Löschen.

  • Aktualisierung von Knowledge-Base-URLs: Neuer Aktualisierungsendpunkt (POST /v1/convai/knowledge-base/{documentation_id}/refresh) zum erneuten Abrufen und Aktualisieren von Inhalten für URL-basierte Knowledge-Base-Dokumente. Knowledge-Base-Dokumente unterstützen jetzt auch die Konfiguration der automatischen Synchronisierung mit den Feldern enable_auto_sync, auto_remove und auto_sync_info.

  • Guardrail-Wiederholung mit Feedback: Benutzerdefinierte und Content-Guardrails unterstützen jetzt konfigurierbare Trigger-Aktionen mit den Optionen EndCallTriggerAction und RetryTriggerAction. Bei einer Wiederholung generiert der Agent seine Antwort mit eingefügtem Systemfeedback bis zu dreimal neu. Verfügbare Platzhalter sind {{trigger_reason}} und {{agent_message}} für kontextbezogene Hinweise zur Wiederholung.

  • Systemvariable für den Gesprächsverlauf: Eine neue dynamische Variable system__conversation_history hinzugefügt, die zur Laufzeit einen verzögert ausgewerteten, JSON-serialisierten Gesprächsverlauf bereitstellt. Dies ist nützlich, um Tools, Webhooks oder Übergaben an Sub-Agents den vollständigen Gesprächskontext zu übergeben.

  • Content-Type für Webhook-Tools: Server-Tools unterstützen jetzt einen konfigurierbaren Content-Type für Webhook-Body-Parameter. So können Sie zwischen den Formaten application/json und application/x-www-form-urlencoded wählen. Das URL-kodierte Format eignet sich für die Integration mit Legacy-Systemen, OAuth-Token-Endpunkten und Zahlungsabwicklern.

  • Ausgehende WhatsApp-Nachrichten: Die WhatsApp-Integration wurde um einen neuen Dialog für ausgehende Nachrichten im Dashboard erweitert. Damit können Agents zusätzlich zu Anrufen Nachrichten über den WhatsApp-Kanal senden.

  • Filter für Agent- und Ressourcenlisten: Die Endpunkte Agents auflisten, Knowledge-Base-Dokumente auflisten und Tools auflisten unterstützen jetzt den Abfrageparameter created_by_user_id (verwenden Sie @me für den aktuellen Nutzer). Die bisherigen Parameter show_only_owned_agents und show_only_owned_documents sind veraltet.

  • Bedingte Workflow-Ausdrücke: Dem Ausdrucksschema für Workflows wurde ein neuer AST-Knoten conditional_operator hinzugefügt, der Verzweigungslogik in Agent-Workflow-Definitionen ermöglicht.

Musik

  • Music Marketplace: Neue Dokumentation zum Music Marketplace, der Marktplatz für die Lizenzierung KI-generierter Musik, einschließlich Nutzungsarten, Auszahlungen für Creators und Lizenzdetails.

SDK-Releases

Python SDK

  • v2.40.0 - Unterstützung für den Parameter environment für ElevenAgents-Gespräche hinzugefügt, wodurch umgebungsspezifische Agent-Verbindungen möglich sind. Fern-Regenerierung zur Anpassung an das neueste API-Schema, einschließlich Umgebungsvariablen, Auth-Verbindungen, Knowledge-Base-Aktualisierung und Guardrail-Trigger-Aktionen.

JavaScript SDK

  • v2.40.0 - WebSocket-Ereignistyp multimodal_message für ElevenAgents-Echtzeitgespräche hinzugefügt. Fern-Regenerierung zur Anpassung an das neueste API-Schema, einschließlich Umgebungsvariablen, Auth-Verbindungen, Knowledge-Base-Aktualisierung und Guardrail-Trigger-Aktionen.

iOS SDK

  • v3.1.1 - Unterstützung für den Parameter environment für umgebungsspezifische Agent-Verbindungen hinzugefügt. Ein visionOS-Build-Fehler wurde behoben, indem die Plattformanforderung auf v2 erhöht wurde.

Pakete

Release Candidate für Pakete v1.0.0

Der erste Release Candidate für v1.0.0 der ElevenAgents-Client-SDKs ist jetzt verfügbar. Dies ist ein Major Release mit Breaking Changes, die die API-Oberfläche verbessern, granulare React-Hooks für eine bessere Render-Performance hinzufügen und das React-Native-SDK mit dem React-SDK vereinheitlichen.

So testen Sie den Release Candidate:

npm install @elevenlabs/client@next @elevenlabs/react@next @elevenlabs/react-native@next

Ein elevenlabs:sdk-migration-Skill hilft KI-Coding-Assistenten dabei, Ihre Codebase automatisch auf die neuen APIs zu migrieren. Fügen Sie ihn zu Ihrem Claude-Code-, Cursor- oder Windsurf-Projekt hinzu, um Unterstützung bei der geführten Migration zu erhalten.

Wichtige Änderungen in v1.0.0:

  • @elevenlabs/client: Conversation ist jetzt ein Namespace-Objekt und Typalias für TextConversation | VoiceConversation statt einer Klasse. Die Klassen Input und Output werden durch die Interfaces InputController und OutputController ersetzt, mit neuen Komfortmethoden auf der Gesprächsinstanz (setMicMuted(), setVolume(), getInputByteFrequencyData(), getOutputByteFrequencyData()). changeInputDevice() und changeOutputDevice() geben jetzt void zurück.
  • @elevenlabs/react: useConversation erfordert jetzt einen übergeordneten ConversationProvider. Neue granulare Hooks für präzises erneutes Rendern: useConversationControls(), useConversationStatus(), useConversationInput(), useConversationMode(), useConversationFeedback(). Neuer Hook useConversationClientTool() zur dynamischen Registrierung von Client-Tools aus React-Komponenten mit vollständiger Typsicherheit.
  • @elevenlabs/react-native: Vollständige Neufassung der API, die ElevenLabsProvider und useConversation durch ConversationProvider und dieselben granularen Hooks aus @elevenlabs/react ersetzt. WebRTC-Polyfills und die native AudioSession-Konfiguration werden beim Import automatisch angewendet.

Vollständige Release Notes und Migrationsanleitungen:

API

Neue Endpunkte

ElevenAgents

  • Umgebungsvariable erstellen - POST /v1/convai/environment-variables - Eine neue Umgebungsvariable mit dem Typ String, Secret oder Auth-Verbindung erstellen
  • Umgebungsvariablen auflisten - GET /v1/convai/environment-variables - Alle Umgebungsvariablen im Workspace auflisten
  • Umgebungsvariable abrufen - GET /v1/convai/environment-variables/{env_var_id} - Eine bestimmte Umgebungsvariable abrufen
  • Umgebungsvariable aktualisieren - PATCH /v1/convai/environment-variables/{env_var_id} - Eine Umgebungsvariable aktualisieren, einschließlich des Entfernens von Werten pro Umgebung über null
  • Inhalt eines URL-Dokuments aktualisieren - POST /v1/convai/knowledge-base/{documentation_id}/refresh - Inhalte für URL-basierte Knowledge-Base-Dokumente erneut abrufen

Workspaces

  • POST /v1/workspace/auth-connections - Eine Workspace-Auth-Verbindung mit Unterstützung für OAuth2, JWT, Basic, Bearer, benutzerdefinierte Header und von Integrationen verwaltete Authentifizierungsmethoden erstellen
  • GET /v1/workspace/auth-connections - Alle Workspace-Auth-Verbindungen mit Abhängigkeitsinformationen auflisten (Tools, MCP-Server, Integrationsverbindungen)
  • DELETE /v1/workspace/auth-connections/{auth_connection_id} - Eine Workspace-Auth-Verbindung löschen

Speech to Text

  • GET /v1/speech-to-text/evaluation/eval-criteria - Bewertungskriterien auflisten
  • POST /v1/speech-to-text/evaluation/eval-criteria - Ein Bewertungskriterium erstellen
  • GET /v1/speech-to-text/evaluation/eval-criteria/{criterion_id} - Ein bestimmtes Bewertungskriterium abrufen
  • PATCH /v1/speech-to-text/evaluation/eval-criteria/{criterion_id} - Ein Bewertungskriterium aktualisieren
  • DELETE /v1/speech-to-text/evaluation/eval-criteria/{criterion_id} - Ein Bewertungskriterium löschen
  • POST /v1/speech-to-text/evaluation/evaluations - Eine Bewertung auslösen
  • GET /v1/speech-to-text/evaluation/evaluations - Bewertungen auflisten
  • GET /v1/speech-to-text/evaluation/evaluations/{evaluation_id} - Eine bestimmte Bewertung abrufen
  • GET /v1/speech-to-text/evaluation/human-agents - Menschliche Agents auflisten
  • GET /v1/speech-to-text/evaluation/human-agents/{agent_id} - Einen menschlichen Agent abrufen
  • DELETE /v1/speech-to-text/evaluation/human-agents/{agent_id} - Einen menschlichen Agent löschen
  • GET /v1/speech-to-text/evaluation/analytics - Bewertungsanalysen abrufen
  • GET /v1/speech-to-text/evaluation/eval-criteria/{criterion_id}/analytics - Analysen für ein bestimmtes Kriterium abrufen
  • GET /v1/speech-to-text/evaluation/human-agents/{agent_id}/analytics - Analysen für einen bestimmten menschlichen Agent abrufen

Aktualisierte Endpunkte

ElevenAgents

  • Signierte URL abrufen, Gesprächs-Token abrufen

    • Abfrageparameter environment (String, optional) für umgebungsspezifische Auflösung hinzugefügt
  • Agents auflisten

    • Abfrageparameter created_by_user_id (String, optional, unterstützt @me) hinzugefügt
    • show_only_owned_agents zugunsten von created_by_user_id als veraltet markiert
  • Knowledge-Base-Dokumente auflisten

    • Abfrageparameter created_by_user_id (String, optional, unterstützt @me) hinzugefügt
    • show_only_owned_documents zugunsten von created_by_user_id als veraltet markiert
  • Tools auflisten

    • Abfrageparameter created_by_user_id (String, optional, unterstützt @me) hinzugefügt
    • show_only_owned_documents zugunsten von created_by_user_id als veraltet markiert
  • Knowledge-Base-Chunk abrufen

    • Abfrageparameter embedding_model (String, optional) hinzugefügt, um das Embedding-Modell für den Chunk-Abruf festzulegen
  • Agent erstellen, Agent aktualisieren, Entwurf erstellen

    • Unterstützung für guardrail_trigger_action mit den Schemas EndCallTriggerAction und RetryTriggerAction hinzugefügt
    • AST-Knoten conditional_operator zu Workflow-Ausdrucksdefinitionen hinzugefügt
    • Agent-Schemas unterstützen jetzt ConvAIEnvVarLocator und EnvironmentAuthConnectionLocator für Verweise auf Umgebungsvariablen in Tool-Konfigurationen
  • Ausgehender SIP-Trunk-Anruf

    • Request-Schema aktualisiert, um neue umgebungsbezogene Felder aufzunehmen
  • Gespräch simulieren, Gesprächs-Stream simulieren

    • Feld simulation_environment zum Request-Schema hinzugefügt

Schema-Änderungen

Neue Schemas

  • ConvAIEnvironmentVariable, ConvAIEnvironmentVariableCreate, ConvAIEnvironmentVariableUpdate - Umgebungsvariablenmodelle mit Unterstützung für die Typen String, Secret und Auth-Verbindung
  • ConvAIEnvVarLocator, EnvironmentAuthConnectionLocator - Locator für Verweise auf Umgebungsvariablen in Tool- und MCP-Server-Konfigurationen
  • EndCallTriggerAction, RetryTriggerAction - Guardrail-Trigger-Aktionsschemas für die Verhaltensweisen Anruf beenden und mit Feedback wiederholen
  • ConditionalOperator - Neuer AST-Knoten für bedingte Ausdrücke in Agent-Workflows
  • AuthConnectionCreateRequest, AuthConnectionResponse, AuthConnectionDependencies - Schemas zur Verwaltung von Workspace-Auth-Verbindungen mit Unterstützung für OAuth2, JWT, Basic, Bearer, benutzerdefinierte Header, WhatsApp und von Integrationen verwaltete Authentifizierungsmethoden
  • SpeechToTextEvaluation* - Sammlung von Schemas für Speech-to-Text-Bewertungskriterien, Bewertungen, menschliche Agents und Analysen

Geänderte Schemas

  • MCPServerConfig, MCPServerConfigOutput - Unterstützung für ConvAIEnvVarLocator-Verweise in der Serverkonfiguration hinzugefügt
  • CustomGuardrailConfig - Feld trigger_action zur Konfiguration des Verhaltens „Anruf beenden“ oder „wiederholen“ hinzugefügt
  • Contributor - Optionale Felder bio (String) und profile_id (String) hinzugefügt
  • ASTLLMNode - Feld value_schema hinzugefügt; das Feld prompt ist zugunsten von value_schema veraltet
  • TelephonyDirection - Zu einem gemeinsamen Enum umgestaltet, auf das mehrere Gesprächs- und Telefonie-Modelle verweisen