Speech Engine 소개

ElevenLabs Speech Engine은 자체 채팅 에이전트 또는 LLM에 실시간 음성을 추가합니다. ElevenLabs가 음성-텍스트 변환, 턴 테이킹, 텍스트 음성 변환 및 브라우저 재생을 처리하고, 서버는 에이전트 로직을 담당하며 Speech Engine WebSocket을 통해 응답 텍스트를 스트리밍합니다. 완전 호스팅형 ElevenAgents 구성 대신 커스텀 런타임에 음성을 추가하려는 경우 사용하세요.

ElevenAgents

  • 텍스트 동작 재정의: 채널별 에이전트 동작을 위한 선택적 verbosity, output_format, interaction_budget 필드를 포함하는 BehaviorOverride 객체의 ConversationInitiationSource별 맵인 text_behavior_overrides를 추가했습니다.
  • 통합 소스: Intercom, Telegram, Freshdesk를 추가했습니다.
  • OTLP 대화 트레이스: 대화 세부 정보 가져오기가 이제 선택적 format 쿼리 매개변수를 지원합니다. format=otlp_traces로 설정하면 표준 대화 페이로드와 함께 OTLP 호환 트레이스 데이터를 반환합니다.
  • ASR 키워드 재정의: 선택적 keywords 배열을 포함하는 ASRConversationalConfigOverride 및 ASRConversationalConfigOverrideConfig 스키마를 추가하고, 대화 구성 클라이언트 재정의 모델에 연결했습니다.
  • Webhook 인증 메타데이터: 이제 Webhook 도구 구성 스키마에 인증 연결에서 확인된 URL 플레이스홀더를 문서화하는 선택적 auth_resolved_params(문자열 배열)가 노출됩니다.

음악

  • 생성 모드: MusicGenerationMode(track, loop, ambience)와 음악 프롬프트 요청 본문의 선택적 generation_mode 필드를 추가했습니다.
  • 비디오-음악 모델: 비디오-음악 (POST /v1/music/video-to-music)이 이제 선택적 model_id(문자열, 기본값 music_v1)를 지원합니다.

ElevenCreative Studio

  • 변환 크레딧: 이제 챕터 및 음성 변환 통계 응답 모델에 변환 전 필요한 크레딧을 나타내는 선택적 credits_needed_to_convert(정수)가 포함됩니다.

워크스페이스

  • 리소스 유형: WorkspaceResourceType에 studio_projects를 추가했습니다.

SDK 릴리스

Python SDK

  • v2.50.0 - 2026년 5월 25일 API 스키마에 맞춰 SDK를 재생성했습니다.
  • v2.49.1 - 전체 응답 객체를 반환하도록 Speech Engine API 호출을 업데이트했습니다.
  • v2.49.0 - ElevenAgents 텍스트 동작 재정의, 음악 generation_mode, 워크스페이스 studio_projects를 포함하여 2026년 5월 18~25일 API 스키마에 맞춰 SDK를 재생성했습니다.

JavaScript SDK

  • v2.50.0 - 누락된 Music API 메서드와 테스트를 추가하고, 2026년 5월 25일 API 스키마에 맞춰 SDK를 재생성했습니다.
  • v2.49.1 - 전체 응답 객체를 반환하도록 Speech Engine API 호출을 업데이트했습니다.
  • v2.49.0 - ElevenAgents 텍스트 동작 재정의, 음악 generation_mode, 워크스페이스 studio_projects를 포함하여 2026년 5월 18~25일 API 스키마에 맞춰 SDK를 재생성했습니다.

패키지

API

업데이트된 엔드포인트 및 스키마

ElevenAgents

  • 대화 세부 정보 가져오기 - GET /v1/convai/conversations/{conversation_id}
    • 선택적 format 쿼리 매개변수를 추가했습니다. otlp_traces는 OTLP 호환 트레이스 데이터를 반환합니다.
  • 에이전트 구성 스키마
    • BehaviorOverride 값(verbosity, output_format, interaction_budget)을 포함하며 ConversationInitiationSource를 키로 사용하는 text_behavior_overrides 맵을 추가했습니다.
  • ConversationInitiationSource 열거형
    • intercom_integration, telegram_integration, freshdesk_integration을 추가했습니다.
  • ASR 재정의 스키마
    • 선택적 keywords(문자열 배열)를 포함하는 ASRConversationalConfigOverride 및 ASRConversationalConfigOverrideConfig를 추가했습니다.
  • Webhook 도구 스키마
    • Webhook 구성 모델에 선택적 auth_resolved_params(문자열 배열)를 추가했습니다.

음악

  • 비디오-음악 - POST /v1/music/video-to-music
    • 선택적 model_id(문자열, 기본값 music_v1)를 추가했습니다.
  • 음악 프롬프트 요청 스키마
    • MusicGenerationMode(track, loop, ambience)를 참조하는 선택적 generation_mode를 추가했습니다.

ElevenCreative Studio

  • 챕터 및 음성 변환 통계 스키마
    • 선택적 credits_needed_to_convert(정수)를 추가했습니다.

워크스페이스

  • WorkspaceResourceType 열거형
    • studio_projects를 추가했습니다.