Dubbing v2 API

Dubbing v2 jest teraz dostępny przez API. Tłumaczy audio i wideo na ponad 90 języków, zachowując głos, ton i tempo każdego mówcy.

Nowe API oparte na projektach przechowuje transkrypcje źródłowe i tłumaczenia jako edytowalny JSON. Utwórz projekt z pliku lub adresu URL, dodaj jeden lub więcej języków docelowych, edytuj pojedyncze segmenty transkrypcji lub tłumaczenia, a potem wygeneruj ponownie tylko zmienione fragmenty. Skorzystaj z krótkiego przewodnika po dubbingu, aby utworzyć swój pierwszy dubbing.

ElevenAgents

  • Filtry zabezpieczeń rozmów: Lista rozmów dodaje opcjonalne parametry zapytania guardrail_types (GuardrailType[]) i custom_guardrail_names (tablica stringów). Istniejącą hierarchię rozmów można teraz filtrować za pomocą opcjonalnego parent_conversation_id (string).
  • Status rozbieżności gałęzi: Lista gałęzi agenta dodaje opcjonalne include_commit_status (boolean, domyślnie false). Po włączeniu podsumowania gałęzi zawierają pola nullable: commits_ahead, commits_behind i merged_into_branch_id.
  • Kontrola rozmów i narzędzi: Nadpisania klienta obsługują teraz max_duration_seconds i pronunciation_dictionary_locators. Konfiguracja serwera MCP dodaje request_meta do przekazywania wartości MCP _meta do wywołań narzędzi, a limity czasu narzędzi webhook obsługują teraz do 300 sekund.
  • Użycie analizy po rozmowie: Rozliczanie rozmów dodaje podział analysis z sumami bieżącymi dla każdej funkcji i migawkami uruchomień. Wiadomości transkrypcji dodają triggered_guardrails, a tury rozmowy opcjonalne producing_llm.

Głosy

  • Filtry wyszukiwania głosów: Pobierz wszystkie głosy v2 dodaje opcjonalne parametry zapytania gender, age, language, accent, use_cases, min_notice_period_days, include_custom_rates, include_live_moderated i high_quality.

Wydania SDK

JavaScript SDK

  • v2.63.0 - Dodano opcje Speech to Text w czasie rzeczywistym dla dodatkowych języków, wykrywania języka i encji, filtrowania dźwięku w tle, logowania oraz uwierzytelniania tokenem jednorazowym. Dodano zdarzenia końcowej transkrypcji, encji i nieprawidłowego żądania; naprawiono wysyłanie niezaakceptowanych warunków, zduplikowane parametry audio_format oraz inkluzywne granice VAD.
  • v2.62.0 - Dodano metody zbiorczej aktualizacji transkrypcji Dubbing i DubbingRegenerateResponse; dodano filtry zabezpieczeń rozmów, status commitów gałęzi agenta, alerty agenta i obsługę MCP requestMeta. Tworzenie języka docelowego nie akceptuje już modelId.
  • v2.61.0 - Dodano filtrowanie hierarchii rozmów, rozliczanie analizy po rozmowie, metadane uruchomionych zabezpieczeń, szczegóły konfliktów scalania gałęzi, maskowanie danych wejściowych DTMF i przesyłanie transkrypcji Dubbing. Usunięto eksportowane typy sesji OpenAI w czasie rzeczywistym oraz warianty wyników narzędzi run_subagent_*.

Python SDK

  • v2.63.0 - Dodano opcje Speech to Text w czasie rzeczywistym dla dodatkowych języków, wykrywania języka i encji, filtrowania dźwięku w tle, logowania oraz uwierzytelniania tokenem jednorazowym. Dodano zdarzenia końcowej transkrypcji, encji i nieprawidłowego żądania; naprawiono wysyłanie niezaakceptowanych warunków i odrzucane są teraz połączenia bez klucza API lub tokena.
  • v2.62.0 - Dodano metody Dubbing update_segments i DubbingRegenerateResponse; dodano obsługę guardrail_types, custom_guardrail_names, include_commit_status i MCP request_meta. Aktualizacje segmentów Dubbing używają teraz modeli treści żądania, a tworzenie języka docelowego nie akceptuje już model_id.
  • v2.61.0 - Dodano parent_conversation_id, rozliczanie analizy, metadane uruchomionych zabezpieczeń, konflikty scalania gałęzi, maskowanie danych wejściowych DTMF i przesyłanie transkrypcji Dubbing. Usunięto typy sesji OpenAI w czasie rzeczywistym oraz modele wyników run_subagent_*.

Android SDK

  • v0.12.1 - Naprawiono zgłaszanie celowych rozłączeń sesji tylko z tekstem jako ConversationStatus.ERROR.
  • v0.12.0 - Dodano ConversationConfig.useMediaStream do kierowania audio rozmowy przez strumień multimediów Androida. Zdalne zwykłe zamknięcia WebSocket są teraz zgłaszane jako DisconnectionDetails.Agent, a zamknięcia inicjowane lokalnie jako DisconnectionDetails.User.

Serwer MCP

  • v0.12.2 - Naprawiono problem z przechodzeniem po ścieżkach.

API

Nowe endpointy

Dubbing

  • Zbiorcza aktualizacja segmentów źródłowych - PATCH /v1/dubbing/project/{project_id}/transcript/segments
    • Wymaga DubbingBulkSegmentUpdateRequest
    • Atomowo aktualizuje tekst segmentu źródłowego, mówcę lub czas
    • Zwraca DubbingBulkSourceSegmentUpdateResponse ze zaktualizowanymi segments i revision
  • Zbiorcza aktualizacja segmentów docelowych - PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments
    • Wymaga DubbingBulkTargetSegmentUpdateRequest
    • Atomowo aktualizuje tłumaczenia wielu segmentów docelowych
    • Zwraca DubbingBulkTargetSegmentUpdateResponse ze zaktualizowanymi segments i revision

Zaktualizowane endpointy

ElevenAgents

  • Lista rozmów - GET /v1/convai/conversations
    • Dodano opcjonalne parent_conversation_id (string)
    • Dodano opcjonalne, powtarzalne guardrail_types (GuardrailType[]) i custom_guardrail_names (tablica stringów)
  • Lista gałęzi agenta - GET /v1/convai/agents/{agent_id}/branches
    • Dodano opcjonalne include_commit_status (boolean, domyślnie false)
    • Podsumowania gałęzi dodają pola nullable commits_ahead (integer), commits_behind (integer) i merged_into_branch_id (string)

Głosy

  • Pobierz wszystkie głosy v2 - GET /v2/voices
    • Dodano opcjonalne filtry gender, age i accent (string)
    • Dodano opcjonalne filtry language i use_cases (tablica stringów)
    • Dodano opcjonalne filtry min_notice_period_days (integer), include_custom_rates, include_live_moderated i high_quality (boolean)

Zmiany schematu

ElevenAgents

  • Schematy nadpisania klienta dodają max_duration_seconds (integer) i pronunciation_dictionary_locators (tablica)
  • Schematy wejścia i wyjścia serwera MCP dodają mapy request_meta
  • Ustawienia platformy agenta dodają alerting; wykrywanie języka dodaje only_at_conversation_start (boolean)
  • AnalysisCharging.last_run jest teraz wymagane i nie może mieć wartości null; sumy bieżące dodają wymagane runs (integer)
  • Odpowiedzi fragmentów RAG wymagają teraz content_format i document_type