Speech Engine 소개
ElevenLabs Speech Engine은 자체 채팅 에이전트 또는 LLM에 실시간 음성을 추가합니다. ElevenLabs가 음성-텍스트 변환, 턴 테이킹, 텍스트 음성 변환 및 브라우저 재생을 처리하고, 서버는 에이전트 로직을 담당하며 Speech Engine WebSocket을 통해 응답 텍스트를 스트리밍합니다. 완전 호스팅형 ElevenAgents 구성 대신 커스텀 런타임에 음성을 추가하려는 경우 사용하세요.
ElevenAgents
- 텍스트 동작 재정의: 채널별 에이전트 동작을 위한 선택적
verbosity,output_format,interaction_budget필드를 포함하는BehaviorOverride객체의ConversationInitiationSource별 맵인text_behavior_overrides를 추가했습니다. - 통합 소스: Intercom, Telegram, Freshdesk를 추가했습니다.
- OTLP 대화 트레이스: 대화 세부 정보 가져오기가 이제 선택적
format쿼리 매개변수를 지원합니다.format=otlp_traces로 설정하면 표준 대화 페이로드와 함께 OTLP 호환 트레이스 데이터를 반환합니다. - ASR 키워드 재정의: 선택적
keywords배열을 포함하는ASRConversationalConfigOverride및ASRConversationalConfigOverrideConfig스키마를 추가하고, 대화 구성 클라이언트 재정의 모델에 연결했습니다. - Webhook 인증 메타데이터: 이제 Webhook 도구 구성 스키마에 인증 연결에서 확인된 URL 플레이스홀더를 문서화하는 선택적
auth_resolved_params(문자열 배열)가 노출됩니다.
음악
- 생성 모드:
MusicGenerationMode(track,loop,ambience)와 음악 프롬프트 요청 본문의 선택적generation_mode필드를 추가했습니다. - 비디오-음악 모델: 비디오-음악 (
POST /v1/music/video-to-music)이 이제 선택적model_id(문자열, 기본값music_v1)를 지원합니다.
ElevenCreative Studio
- 변환 크레딧: 이제 챕터 및 음성 변환 통계 응답 모델에 변환 전 필요한 크레딧을 나타내는 선택적
credits_needed_to_convert(정수)가 포함됩니다.
워크스페이스
- 리소스 유형:
WorkspaceResourceType에studio_projects를 추가했습니다.
SDK 릴리스
Python SDK
- v2.50.0 - 2026년 5월 25일 API 스키마에 맞춰 SDK를 재생성했습니다.
- v2.49.1 - 전체 응답 객체를 반환하도록 Speech Engine API 호출을 업데이트했습니다.
- v2.49.0 - ElevenAgents 텍스트 동작 재정의, 음악
generation_mode, 워크스페이스studio_projects를 포함하여 2026년 5월 18~25일 API 스키마에 맞춰 SDK를 재생성했습니다.
JavaScript SDK
- v2.50.0 - 누락된 Music API 메서드와 테스트를 추가하고, 2026년 5월 25일 API 스키마에 맞춰 SDK를 재생성했습니다.
- v2.49.1 - 전체 응답 객체를 반환하도록 Speech Engine API 호출을 업데이트했습니다.
- v2.49.0 - ElevenAgents 텍스트 동작 재정의, 음악
generation_mode, 워크스페이스studio_projects를 포함하여 2026년 5월 18~25일 API 스키마에 맞춰 SDK를 재생성했습니다.
패키지
- @elevenlabs/client@1.8.1 - 첫 사용자 제스처에서
AudioContext를 잠금 해제하고 오디오 워클릿 로드 후 재생 그래프를 프라이밍하여, WebSocket 음성 세션에서 iOS Safari가 첫 번째 에이전트 메시지를 누락하던 문제를 수정했습니다. - @elevenlabs/convai-widget-core@0.12.8 및 @elevenlabs/convai-widget-embed@0.12.8 -
strip_audio_tags가 꺼져 있을 때 음성 트랜스크립트의 감정 및 오디오 태그에 스타일을 적용하고, 최상위terms_html또는terms_text가 null이면 이용 약관 모달의 킬 스위치로 처리합니다. - @elevenlabs/convai-widget-core@0.12.7 및 @elevenlabs/convai-widget-embed@0.12.7 - 위젯 종속성을
@elevenlabs/client@1.8.1로 업데이트했습니다.
API
API 변경 사항 보기
업데이트된 엔드포인트 및 스키마
ElevenAgents
- 대화 세부 정보 가져오기 -
GET /v1/convai/conversations/{conversation_id}- 선택적
format쿼리 매개변수를 추가했습니다.otlp_traces는 OTLP 호환 트레이스 데이터를 반환합니다.
- 선택적
- 에이전트 구성 스키마
BehaviorOverride값(verbosity,output_format,interaction_budget)을 포함하며ConversationInitiationSource를 키로 사용하는text_behavior_overrides맵을 추가했습니다.
ConversationInitiationSource열거형intercom_integration,telegram_integration,freshdesk_integration을 추가했습니다.
- ASR 재정의 스키마
- 선택적
keywords(문자열 배열)를 포함하는ASRConversationalConfigOverride및ASRConversationalConfigOverrideConfig를 추가했습니다.
- 선택적
- Webhook 도구 스키마
- Webhook 구성 모델에 선택적
auth_resolved_params(문자열 배열)를 추가했습니다.
- Webhook 구성 모델에 선택적
음악
- 비디오-음악 -
POST /v1/music/video-to-music- 선택적
model_id(문자열, 기본값music_v1)를 추가했습니다.
- 선택적
- 음악 프롬프트 요청 스키마
MusicGenerationMode(track,loop,ambience)를 참조하는 선택적generation_mode를 추가했습니다.
ElevenCreative Studio
- 챕터 및 음성 변환 통계 스키마
- 선택적
credits_needed_to_convert(정수)를 추가했습니다.
- 선택적
워크스페이스
WorkspaceResourceType열거형studio_projects를 추가했습니다.