더빙 v2 API

이제 API를 통해 더빙 v2를 사용할 수 있습니다. 각 화자의 목소리, 톤, 속도를 유지하면서 오디오와 비디오를 90개 이상의 언어로 번역합니다.

새로운 프로젝트 기반 API는 원본 트랜스크립트와 번역을 편집 가능한 JSON으로 유지합니다. 파일 또는 URL에서 프로젝트를 만들고 하나 이상의 대상 언어를 추가한 다음, 개별 트랜스크립트 세그먼트 또는 번역을 편집하고 변경된 구간만 다시 생성할 수 있습니다. 더빙 빠른 시작을 따라 첫 더빙을 만들어 보세요.

ElevenAgents

  • 대화 가드레일 필터: 대화 목록에 선택적 guardrail_types (GuardrailType[]) 및 custom_guardrail_names(문자열 배열) 쿼리 파라미터가 추가되었습니다. 기존 대화 계층 구조는 이제 선택적 parent_conversation_id(문자열)로 필터링할 수 있습니다.
  • 브랜치 차이 상태: 에이전트 브랜치 목록에 선택적 include_commit_status(불리언, 기본값 false)가 추가되었습니다. 활성화하면 브랜치 요약에 null 허용 commits_ahead, commits_behind, merged_into_branch_id 필드가 포함됩니다.
  • 대화 및 도구 제어: 이제 클라이언트 오버라이드에서 max_duration_seconds와 pronunciation_dictionary_locators를 지원합니다. MCP 서버 구성에는 도구 호출에 MCP _meta 값을 전달하기 위한 request_meta가 추가되었으며, 웹훅 도구 타임아웃은 이제 최대 300초까지 지원합니다.
  • 통화 후 분석 사용량: 대화 과금에 기능별 누적 합계와 실행 스냅샷을 포함하는 analysis 분석 항목이 추가되었습니다. 트랜스크립트 메시지에 triggered_guardrails가 추가되었고, 대화 턴에는 선택적 producing_llm이 추가되었습니다.

음성

  • 음성 검색 필터: 모든 음성 v2 가져오기에 선택적 gender, age, language, accent, use_cases, min_notice_period_days, include_custom_rates, include_live_moderated, high_quality 쿼리 파라미터가 추가되었습니다.

SDK 릴리스

JavaScript SDK

  • v2.63.0 - 보조 언어, 언어 및 엔터티 감지, 배경 오디오 필터링, 로깅, 일회용 토큰 인증을 위한 실시간 음성 인식 옵션을 추가했습니다. 최종 트랜스크립트, 엔터티, 잘못된 요청 이벤트를 추가했으며, 미수락 약관 디스패치, 중복 audio_format 파라미터, 포함형 VAD 범위 문제를 수정했습니다.
  • v2.62.0 - 더빙 대량 트랜스크립트 업데이트 메서드와 DubbingRegenerateResponse를 추가했습니다. 대화 가드레일 필터, 에이전트 브랜치 커밋 상태, 에이전트 알림, MCP requestMeta 지원을 추가했습니다. 이제 언어 대상 생성에서 modelId를 허용하지 않습니다.
  • v2.61.0 - 대화 계층 구조 필터링, 통화 후 분석 과금, 트리거된 가드레일 메타데이터, 브랜치 병합 충돌 세부정보, DTMF 입력 마스킹, 더빙 트랜스크립트 업로드를 추가했습니다. 내보낸 OpenAI 실시간 세션 유형과 run_subagent_* 도구 결과 변형을 제거했습니다.

Python SDK

  • v2.63.0 - 보조 언어, 언어 및 엔터티 감지, 배경 오디오 필터링, 로깅, 일회용 토큰 인증을 위한 실시간 음성 인식 옵션을 추가했습니다. 최종 트랜스크립트, 엔터티, 잘못된 요청 이벤트를 추가했으며, 미수락 약관 디스패치 문제를 수정하고 이제 API 키 또는 토큰 없이 연결하면 거부합니다.
  • v2.62.0 - 더빙 update_segments 메서드와 DubbingRegenerateResponse를 추가했습니다. guardrail_types, custom_guardrail_names, include_commit_status, MCP request_meta 지원을 추가했습니다. 이제 더빙 세그먼트 업데이트는 요청 본문 모델을 사용하며, 언어 대상 생성에서 더 이상 model_id를 허용하지 않습니다.
  • v2.61.0 - parent_conversation_id, 분석 과금, 트리거된 가드레일 메타데이터, 브랜치 병합 충돌, DTMF 입력 마스킹, 더빙 트랜스크립트 업로드를 추가했습니다. OpenAI 실시간 세션 유형과 run_subagent_* 결과 모델을 제거했습니다.

Android SDK

  • v0.12.1 - 의도적인 텍스트 전용 세션 연결 해제가 ConversationStatus.ERROR로 보고되는 문제를 수정했습니다.
  • v0.12.0 - 대화 오디오를 Android 미디어 스트림으로 라우팅하기 위한 ConversationConfig.useMediaStream을 추가했습니다. 원격의 정상적인 WebSocket 종료는 이제 DisconnectionDetails.Agent로 보고되며, 로컬에서 시작한 종료는 DisconnectionDetails.User로 보고됩니다.

MCP 서버

  • v0.12.2 - 경로 탐색 문제를 수정했습니다.

API

새 엔드포인트

더빙

  • 원본 세그먼트 일괄 업데이트 - PATCH /v1/dubbing/project/{project_id}/transcript/segments
    • DubbingBulkSegmentUpdateRequest 필요
    • 원본 세그먼트 텍스트, 화자 또는 타이밍을 원자적으로 업데이트
    • 업데이트된 segments 및 revision이 포함된 DubbingBulkSourceSegmentUpdateResponse 반환
  • 대상 세그먼트 일괄 업데이트 - PATCH /v1/dubbing/project/{project_id}/language/{language_id}/transcript/segments
    • DubbingBulkTargetSegmentUpdateRequest 필요
    • 여러 대상 세그먼트의 번역을 원자적으로 업데이트
    • 업데이트된 segments 및 revision이 포함된 DubbingBulkTargetSegmentUpdateResponse 반환

업데이트된 엔드포인트

ElevenAgents

  • 대화 목록 - GET /v1/convai/conversations
    • 선택적 parent_conversation_id(문자열) 추가
    • 선택적으로 반복 가능한 guardrail_types (GuardrailType[]) 및 custom_guardrail_names(문자열 배열) 추가
  • 에이전트 브랜치 목록 - GET /v1/convai/agents/{agent_id}/branches
    • 선택적 include_commit_status(불리언, 기본값 false) 추가
    • 브랜치 요약에 null 허용 commits_ahead(정수), commits_behind(정수), merged_into_branch_id(문자열) 추가

음성

  • 모든 음성 v2 가져오기 - GET /v2/voices
    • 선택적 gender, age, accent(문자열) 필터 추가
    • 선택적 language, use_cases(문자열 배열) 필터 추가
    • 선택적 min_notice_period_days(정수), include_custom_rates, include_live_moderated, high_quality(불리언) 필터 추가

스키마 변경 사항

ElevenAgents

  • 클라이언트 오버라이드 스키마에 max_duration_seconds(정수) 및 pronunciation_dictionary_locators(배열) 추가
  • MCP 서버 입력 및 출력 스키마에 request_meta 맵 추가
  • 에이전트 플랫폼 설정에 alerting 추가, 언어 감지에 only_at_conversation_start(불리언) 추가
  • AnalysisCharging.last_run이 이제 필수이며 null을 허용하지 않음. 누적 합계에 필수 runs(정수) 추가
  • 이제 RAG 청크 응답에 content_format 및 document_type 필요