모델

플래그십 모델

텍스트 음성 변환

음성 텍스트 변환

음성 에이전트

음악

모델 개요

ElevenLabs API는 다양한 사용 사례, 품질 수준 및 성능 요구 사항에 최적화된 다양한 오디오 모델을 제공합니다.

지원 중단된 모델

Eleven v4

Eleven v4는 ElevenLabs의 최첨단 음성 합성 모델로, 최고 수준의 오디오 품질과 표현력, 음성 연출 제어 기능을 제공합니다. Eleven v4는 긴 텍스트 생성에서도 화자 특성을 안정적으로 유지하는 고충실도 음성 복제를 지원합니다.

이 모델은 다음과 같은 상황에 적합합니다.

• 캐릭터 보이스오버: 풍부한 감정 표현으로 게임과 애니메이션에 이상적입니다.
• 감정적 대화: 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 대화를 생성합니다.
• 오디오북 제작: 복잡한 감정 전달이 필요한 장문 내레이션에 적합합니다.
• 다국어 프로젝트: 언어가 전환되어도 일관된 음성 품질을 유지합니다.

Eleven v4는 텍스트-대화 API를 통해 사용할 수 있습니다.

지원 언어

Eleven v4 모델군은 다음을 포함해 90개 이상의 언어를 지원합니다:

아프리칸스어(af), 아랍어(ar), 아르메니아어(hy), 아삼어(as), 아스투리아스어(ast), 아제르바이잔어(az), 벨라루스어(be), 벵골어(bn), 보스니아어(bs), 불가리아어(bg), 버마어(my), 광둥어(yue), 카탈루냐어(ca), 세부아노어(ceb), 크로아티아어(hr), 체코어(cs), 덴마크어(da), 네덜란드어(nl), 영어(en), 에스토니아어(et), 필리핀어(fil), 핀란드어(fi), 프랑스어(fr), 갈리시아어(gl), 조지아어(ka), 독일어(de), 그리스어(el), 구자라트어(gu), 하우사어(ha), 히브리어(he), 힌디어(hi), 헝가리어(hu), 아이슬란드어(is), 인도네시아어(id), 아일랜드어(ga), 이탈리아어(it), 일본어(ja), 자바어(jv), 칸나다어(kn), 카자흐어(kk), 한국어(ko), 키르기스어(ky), 라트비아어(lv), 링갈라어(ln), 리투아니아어(lt), 룩셈부르크어(lb), 마케도니아어(mk), 말레이어(ms), 말라얄람어(ml), 몰타어(mt), 중국어(만다린)(zh), 마오리어(mi), 마라티어(mr), 몽골어(mn), 네팔어(ne), 노르웨이어(no), 오크어(oc), 오디아어(or), 파슈토어(ps), 페르시아어(fa), 폴란드어(pl), 포르투갈어(pt), 펀자브어(pa), 루마니아어(ro), 러시아어(ru), 세르비아어(sr), 신디어(sd), 슬로바키아어(sk), 슬로베니아어(sl), 소말리어(so), 스페인어(es), 스와힐리어(sw), 스웨덴어(sv), 타지크어(tg), 타밀어(ta), 텔루구어(te), 태국어(th), 터키어(tr), 우크라이나어(uk), 우르두어(ur), 우즈베크어(uz), 베트남어(vi), 웨일스어(cy), 요루바어(yo).

Eleven v4 Turbo

Eleven v4 Turbo는 실시간 음성 합성을 위한 ElevenLabs의 최첨단 모델로, 고품질 오디오와 표현력, 음성 연출 제어 기능을 제공합니다. Eleven v4 Turbo는 고충실도 음성 복제를 지원하며 중앙값 기준 약 100ms의 추론 지연 시간으로 결과를 제공합니다.

이 모델은 다음과 같은 상황에 적합합니다.

• 지원 에이전트: 고객 문의를 실시간으로 해결하는 음성 에이전트를 구현합니다.
• AI 어시스턴트: 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 대화를 생성합니다.
• 인터랙티브 캐릭터: 표현력 있는 캐릭터를 활용한 오디오 경험에 탁월합니다.

Eleven v4 Turbo는 텍스트-대화 WebSocket을 통해 사용할 수 있습니다.

지원 언어

Eleven v4 모델군은 다음을 포함해 90개 이상의 언어를 지원합니다:

아프리칸스어(af), 아랍어(ar), 아르메니아어(hy), 아삼어(as), 아스투리아스어(ast), 아제르바이잔어(az), 벨라루스어(be), 벵골어(bn), 보스니아어(bs), 불가리아어(bg), 버마어(my), 광둥어(yue), 카탈루냐어(ca), 세부아노어(ceb), 크로아티아어(hr), 체코어(cs), 덴마크어(da), 네덜란드어(nl), 영어(en), 에스토니아어(et), 필리핀어(fil), 핀란드어(fi), 프랑스어(fr), 갈리시아어(gl), 조지아어(ka), 독일어(de), 그리스어(el), 구자라트어(gu), 하우사어(ha), 히브리어(he), 힌디어(hi), 헝가리어(hu), 아이슬란드어(is), 인도네시아어(id), 아일랜드어(ga), 이탈리아어(it), 일본어(ja), 자바어(jv), 칸나다어(kn), 카자흐어(kk), 한국어(ko), 키르기스어(ky), 라트비아어(lv), 링갈라어(ln), 리투아니아어(lt), 룩셈부르크어(lb), 마케도니아어(mk), 말레이어(ms), 말라얄람어(ml), 몰타어(mt), 중국어(만다린)(zh), 마오리어(mi), 마라티어(mr), 몽골어(mn), 네팔어(ne), 노르웨이어(no), 오크어(oc), 오디아어(or), 파슈토어(ps), 페르시아어(fa), 폴란드어(pl), 포르투갈어(pt), 펀자브어(pa), 루마니아어(ro), 러시아어(ru), 세르비아어(sr), 신디어(sd), 슬로바키아어(sk), 슬로베니아어(sl), 소말리어(so), 스페인어(es), 스와힐리어(sw), 스웨덴어(sv), 타지크어(tg), 타밀어(ta), 텔루구어(te), 태국어(th), 터키어(tr), 우크라이나어(uk), 우르두어(ur), 우즈베크어(uz), 베트남어(vi), 웨일스어(cy), 요루바어(yo).

Eleven v3

Eleven v3는 여러 언어에서 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 음성을 생성하는 이전 세대 음성 합성 모델입니다.

Eleven v3와 함께 새로운 텍스트-대화 API가 제공됩니다. 이 API를 사용하면 여러 언어에서 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 대화를 생성할 수 있습니다. Eleven v3는 텍스트 음성 변환 API와 함께 사용하여 여러 언어에서 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 음성을 생성할 수도 있습니다.

텍스트-대화 API에 관한 자세한 내용은 여기에서 확인하세요.

지원 언어

Eleven v3 모델은 다음을 포함해 70개 이상의 언어를 지원합니다:

아프리칸스어(af), 아랍어(ar), 아르메니아어(hy), 아삼어(as), 아스투리아스어(ast), 아제르바이잔어(az), 벨라루스어(be), 벵골어(bn), 보스니아어(bs), 불가리아어(bg), 버마어(my), 광둥어(yue), 카탈루냐어(ca), 세부아노어(ceb), 치체와어(ny), 크로아티아어(hr), 체코어(cs), 덴마크어(da), 네덜란드어(nl), 영어(en), 에스토니아어(et), 필리핀어(fil), 핀란드어(fi), 프랑스어(fr), 갈리시아어(gl), 조지아어(ka), 독일어(de), 그리스어(el), 구자라트어(gu), 하우사어(ha), 히브리어(he), 힌디어(hi), 헝가리어(hu), 아이슬란드어(is), 인도네시아어(id), 아일랜드어(ga), 이탈리아어(it), 일본어(ja), 자바어(jv), 칸나다어(kn), 카자흐어(kk), 키르기스어(ky), 한국어(ko), 라트비아어(lv), 링갈라어(ln), 리투아니아어(lt), 룩셈부르크어(lb), 마케도니아어(mk), 말레이어(ms), 말라얄람어(ml), 몰타어(mt), 중국어(만다린)(zh), 마오리어(mi), 마라티어(mr), 몽골어(mn), 네팔어(ne), 노르웨이어(no), 오크어(oc), 오디아어(or), 파슈토어(ps), 페르시아어(fa), 폴란드어(pl), 포르투갈어(pt), 펀자브어(pa), 루마니아어(ro), 러시아어(ru), 세르비아어(sr), 신디어(sd), 슬로바키아어(sk), 슬로베니아어(sl), 소말리어(so), 스페인어(es), 스와힐리어(sw), 스웨덴어(sv), 타지크어(tg), 타밀어(ta), 텔루구어(te), 태국어(th), 터키어(tr), 우크라이나어(uk), 우르두어(ur), 우즈베크어(uz), 베트남어(vi), 웨일스어(cy), 요루바어(yo).

Eleven v3 Conversational

Eleven v3 Conversational은 실시간 음성 합성을 위한 이전 세대 모델입니다. 여러 언어에서 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 음성을 생성합니다.

Eleven v3 Conversational과 함께 새로운 텍스트-대화 WebSocket이 제공됩니다. 이를 사용하면 여러 언어에서 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 대화를 생성할 수 있습니다.

Eleven v3 Conversational과 함께 새로운 텍스트-대화 WebSocket이 제공됩니다. 이를 사용하면 여러 언어에서 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 대화를 생성할 수 있습니다.

텍스트-대화 WebSocket에 관한 자세한 내용은 여기에서 확인하세요.

지원 언어

Eleven v3 모델은 다음을 포함해 70개 이상의 언어를 지원합니다:

아프리칸스어(af), 아랍어(ar), 아르메니아어(hy), 아삼어(as), 아스투리아스어(ast), 아제르바이잔어(az), 벨라루스어(be), 벵골어(bn), 보스니아어(bs), 불가리아어(bg), 버마어(my), 광둥어(yue), 카탈루냐어(ca), 세부아노어(ceb), 치체와어(ny), 크로아티아어(hr), 체코어(cs), 덴마크어(da), 네덜란드어(nl), 영어(en), 에스토니아어(et), 필리핀어(fil), 핀란드어(fi), 프랑스어(fr), 갈리시아어(gl), 조지아어(ka), 독일어(de), 그리스어(el), 구자라트어(gu), 하우사어(ha), 히브리어(he), 힌디어(hi), 헝가리어(hu), 아이슬란드어(is), 인도네시아어(id), 아일랜드어(ga), 이탈리아어(it), 일본어(ja), 자바어(jv), 칸나다어(kn), 카자흐어(kk), 키르기스어(ky), 한국어(ko), 라트비아어(lv), 링갈라어(ln), 리투아니아어(lt), 룩셈부르크어(lb), 마케도니아어(mk), 말레이어(ms), 말라얄람어(ml), 몰타어(mt), 중국어(만다린)(zh), 마오리어(mi), 마라티어(mr), 몽골어(mn), 네팔어(ne), 노르웨이어(no), 오크어(oc), 오디아어(or), 파슈토어(ps), 페르시아어(fa), 폴란드어(pl), 포르투갈어(pt), 펀자브어(pa), 루마니아어(ro), 러시아어(ru), 세르비아어(sr), 신디어(sd), 슬로바키아어(sk), 슬로베니아어(sl), 소말리어(so), 스페인어(es), 스와힐리어(sw), 스웨덴어(sv), 타지크어(tg), 타밀어(ta), 텔루구어(te), 태국어(th), 터키어(tr), 우크라이나어(uk), 우르두어(ur), 우즈베크어(uz), 베트남어(vi), 웨일스어(cy), 요루바어(yo).

Multilingual v2

Eleven Multilingual v2는 감정을 인식하는 이전 세대 음성 합성 모델입니다. 여러 언어에서 폭넓은 감정 표현과 문맥 이해를 바탕으로 자연스럽고 생생한 음성을 생성합니다.

이 모델은 화자 고유의 특성과 억양을 유지하면서 모든 지원 언어에서 일관된 음성 품질과 개성을 제공합니다.

이 모델은 고품질의 섬세한 감정 표현이 필요한 다음과 같은 상황에서 뛰어난 성능을 발휘합니다.

• 캐릭터 보이스오버: 풍부한 감정 표현으로 게임과 애니메이션에 이상적입니다.
• 전문 콘텐츠: 기업 비디오와 이러닝 자료에 적합합니다.
• 다국어 프로젝트: 언어가 전환되어도 일관된 음성 품질을 유지합니다.
• 안정적인 품질: 일관된 고품질 오디오 출력을 생성합니다.

Flash 모델보다 문자당 지연 시간과 비용이 높지만, 생생한 음성이 중요한 프로젝트에는 더 뛰어난 품질을 제공합니다.

다국어 v2 모델은 29개 언어를 지원합니다.

영어(미국, 영국, 호주, 캐나다), 일본어, 중국어, 독일어, 힌디어, 프랑스어(프랑스, 캐나다), 한국어, 포르투갈어(브라질, 포르투갈), 이탈리아어, 스페인어(스페인, 멕시코), 인도네시아어, 네덜란드어, 터키어, 필리핀어, 폴란드어, 스웨덴어, 불가리아어, 루마니아어, 아랍어(사우디아라비아, UAE), 체코어, 그리스어, 핀란드어, 크로아티아어, 말레이어, 슬로바키아어, 덴마크어, 타밀어, 우크라이나어 및 러시아어.

Flash v2.5

Eleven Flash v2.5는 실시간 애플리케이션과 Agents Platform을 위해 설계된 ElevenLabs의 가장 빠른 음성 합성 모델입니다. 32개 언어에서 초저지연(~75ms†)으로 고품질 음성을 제공합니다.

이 모델은 속도와 품질의 균형을 갖춰 인터랙티브 애플리케이션에 이상적이며, 자연스러운 출력과 언어 전반에 걸친 일관된 음성 특성을 유지합니다.

이 모델은 특히 다음 용도에 적합합니다.

• Agents Platform: 실시간 음성 에이전트와 챗봇에 적합합니다.
• 인터랙티브 애플리케이션: 즉각적인 응답이 필요한 게임과 애플리케이션에 이상적입니다.
• 대규모 처리: 대량의 텍스트 음성 변환을 효율적으로 처리합니다.

API 생성에 더 낮은 가격을 제공하고 지연 시간이 75ms인 Flash v2.5는 여러 언어에서 빠르고 안정적인 음성 합성이 필요한 모든 사용자에게 비용 효율적인 선택지입니다.

Flash v2.5는 v2 모델의 모든 언어와 다음 언어를 포함해 32개 언어를 지원합니다.

헝가리어, 노르웨이어 및 베트남어

고려 사항

모델 선택 가이드

요구 사항과 사용 사례에 가장 적합한 모델에 관한 안내는 모델 선택 가이드를 참조하세요.

문자 제한

단일 텍스트 음성 변환 요청에서 지원되는 최대 문자 수는 모델마다 다릅니다.

Scribe v2

Scribe v2는 90개 이상의 언어에서 정확한 전사를 위해 설계된 ElevenLabs의 최첨단 음성 인식 모델입니다. 정확한 단어 수준 타임스탬프와 화자 분리, 동적 오디오 태깅 같은 고급 기능을 제공합니다.

이 모델은 정확한 음성-텍스트 변환이 필요한 상황에서 뛰어난 성능을 발휘합니다.

• 전사 서비스: 오디오/비디오 콘텐츠를 텍스트로 변환하는 데 적합합니다.
• 회의 문서화: 대화를 캡처하고 기록하는 데 이상적입니다.
• 콘텐츠 분석: 오디오 콘텐츠 처리 및 분석에 적합합니다.
• 다국어 인식: 90개 이상의 언어에서 정확한 전사를 지원합니다.

주요 기능:

• 단어 수준 타임스탬프를 포함한 정확한 전사
• 다화자 오디오를 위한 화자 분리
• 향상된 문맥을 위한 동적 오디오 태깅
• 90개 이상의 언어 지원
• 엔터티 감지
• 핵심 용어 프롬프팅
• 전사 편집

Scribe v2에 관한 자세한 내용은 여기에서 확인하세요.

Scribe v2 Realtime

Scribe v2 Realtime은 가장 빠르고 정확한 실시간 음성 인식 모델로, 90개 이상의 언어에서 초저지연 150ms로 최첨단 수준의 정확도를 제공합니다.

이 모델은 대화형 사용 사례에서 뛰어난 성능을 발휘합니다.

• 실시간 회의 전사: 실시간 전사에 적합합니다.
• AI 에이전트: 실시간 대화에 이상적입니다.
• 다국어 인식: 자동 언어 인식과 함께 90개 이상의 언어에서 정확한 전사를 지원합니다.

주요 기능:

• 초저지연: 약 150밀리초 내에 부분 전사 결과를 받습니다.
• 스트리밍 지원: 오디오를 청크 단위로 전송하면서 실시간으로 전사 결과를 받을 수 있습니다.
• 다양한 오디오 형식: PCM(8kHz~48kHz) 및 μ-law 인코딩을 지원합니다.
• 음성 활동 감지(VAD): 무음 감지를 기반으로 자동 음성 세그먼트를 생성합니다.
• 수동 커밋 제어: 전사 세그먼트를 최종 확정할 시점을 완전히 제어할 수 있습니다.
• 엔터티 감지
• 전사 편집

Scribe v2 Realtime에 관한 자세한 내용은 여기에서 확인하세요.

Scribe v2 Medical

Scribe v2 Medical은 의료 및 임상 오디오에 특화된 배치 음성 인식 모델입니다. Scribe v2를 Finetune한 모델로, 일상 음성에서 Scribe v2와 동일한 정확도를 유지하면서 약품명, 해부학, 병리학 및 임상 받아쓰기 인식 성능을 향상시킵니다. Scribe v2와 동일한 음성-텍스트 API를 사용하며 요금도 동일합니다. model_id로 scribe_v2_medical을 전달하세요.

이 모델은 다음 용도에 적합합니다.

• 임상 문서화: 대화 중간에 의학 용어가 등장하는 앰비언트 진료 및 기록
• 받아쓰기: 약물, 용량 및 소견이 밀집된 연속 구술
• 접수 및 조정 통화: 주로 전화로 환자가 자신의 상태를 설명하는 통화
• 규정 준수 워크플로: PHI 범주에 대해 엔터티 감지와 결합

주요 기능:

• Scribe v2와 동일한 요청 형식(keyterms, entity_detection, no_verbatim, 화자 분리, 타임스탬프)
• 약품명, 해부학 및 병리학 용어 인식 향상
• Scribe v2 대비 일상 음성 성능 저하 없음
• 90개 이상의 언어 지원
• 다화자 오디오를 위한 화자 분리
• 동적 오디오 태깅
• PHI 범주를 포함한 엔터티 감지

Scribe v2 Medical은 배치 모델입니다. 실시간 전사에는 Scribe v2 Realtime을 사용하세요.

Scribe v2 Medical은 HIPAA 적용 대상이며, 엔터프라이즈 고객에게는 비즈니스 제휴 계약(Business Associate Agreement)과 제로 보존 모드(ZRM)를 제공합니다. ZRM을 활성화하면 각 요청이 완료된 직후 오디오 입력과 텍스트 출력이 삭제됩니다. ElevenLabs는 어떤 데이터도 보관하지 않으며, 애플리케이션은 전체 API 응답을 수신하고 자체 제어하에 전사본을 보관합니다.

음성-텍스트에 관한 자세한 내용은 여기에서 확인하세요.

Eleven Realtime

Eleven Realtime은 자연스러운 음성 에이전트를 구축하기 위한 새로운 종류의 음성 변환 모델입니다. 각 Realtime 모델은 완전한 음성 에이전트로, 음성 인식, 음성 활동 감지 및 턴테이킹, LLM, 텍스트 음성 변환을 ElevenLabs가 하나의 시스템으로 함께 작동하도록 선택하고 조정했습니다. Realtime 모델을 선택하면 구성할 컴포넌트 없이 한 번의 선택만으로 우수한 성능의 에이전트를 사용할 수 있습니다.

두 가지 Realtime 모델을 사용할 수 있습니다.

Eleven Realtime v1 Mini는 빠르고 자연스러운 대화에 최적화되어 있으며, 다음과 같은 상황에 적합합니다.

• AI 어시스턴트: 대화 자체가 제품인 경우에 적합한 빠르고 표현력 있는 대화입니다.
• 교육 튜터: 학습자의 속도에 맞춰 자연스럽게 주고받는 대화입니다.
• 인터랙티브 캐릭터: 게임과 엔터테인먼트를 위한 표현력 있는 캐릭터입니다.

Eleven Realtime v1 Max는 복잡한 작업에 최적화되어 있으며, 다음과 같은 상황에 적합합니다.

• 고객 지원: 프로세스를 따르고 정보를 조회해야 하는 문의를 해결합니다.
• 리드 검증: 정보를 수집하고 다음 단계를 결정하는 구조화된 대화를 제공합니다.
• 다단계 워크플로: 도구를 호출하여 정보를 조회하거나 작업을 수행합니다.

주요 기능:

• 하나의 모델 선택으로 음성 인식, 턴테이킹, 언어 모델 및 음성 제공
• 자연스러운 턴테이킹 및 인터럽트 처리
• 도구 호출
• ElevenLabs 보이스 라이브러리의 맞춤형 음성
• 90개 이상의 언어 지원
• 통합 변경 없이 모델 선택만으로 v1 Mini와 v1 Max 간 전환

Eleven Realtime은 ElevenAgents에서 모델 드롭다운으로 Realtime 모델을 선택해 사용할 수 있으며, WebSocket을 통해 OpenAI의 Realtime API와 호환되도록 설계된 Realtime API로도 사용할 수 있습니다. 이미 OpenAI의 Realtime API를 사용 중이라면 마이그레이션 가이드를 참조하세요.

지원 언어

Realtime 모델은 90개 이상의 언어를 지원합니다. Eleven v4 언어 목록을 참조하세요.

Eleven Realtime에 관한 자세한 내용은 여기에서 확인하세요.

Eleven Music

Eleven Music은 스튜디오급 음악 생성 모델입니다. 자연어 프롬프트를 사용해 어떤 스타일의 음악이든 생성할 수 있습니다.

이 모델은 다음과 같은 상황에 탁월합니다.

• 게임 사운드트랙: 게임을 위한 몰입감 있는 사운드트랙을 만듭니다.
• 팟캐스트 배경음: 전문적인 음악으로 팟캐스트를 향상시킵니다.
• 마케팅: 광고 릴에 배경 음악을 추가합니다.

주요 기능:

• 장르, 스타일 및 구조를 완벽하게 제어
• 보컬 또는 반주만 선택 가능
• 영어, 스페인어, 독일어, 일본어 등을 포함한 다국어 지원
• 개별 섹션 또는 곡 전체의 사운드와 가사 편집

Eleven Music에 관한 자세한 내용은 여기에서 확인하세요.

동시성 및 우선순위

구독 플랜에 따라 동시에 처리할 수 있는 요청 수와 대기열에서 요청의 우선순위 수준이 결정됩니다. 음성 텍스트 변환은 더 높은 동시성 한도를 제공합니다. 동시성 한도에 도달하면 이후 요청은 우선순위가 낮은 요청과 함께 대기열에서 처리됩니다. 실제로는 일반적으로 지연 시간이 약 50ms만 추가됩니다.

응답 헤더에는 동시성을 모니터링하는 데 사용할 수 있는 current-concurrent-requests 및 maximum-concurrent-requests가 포함됩니다.

분당 API 요청 수와 동시 요청 수

분당 API 요청 수와 동시 요청 수는 사용 패턴에 따라 달라지는 서로 다른 측정항목이라는 점을 이해하는 것이 중요합니다.

분당 API 요청 수는 각 요청의 처리 시간과 요청이 일괄 처리되는 방식에 따라 달라지므로 동시 요청 수와 다를 수 있습니다.

예시 1: 간격을 둔 요청 각각 완료에 1초가 걸리는 분당 180개의 요청을 0.33초 간격으로 전송했다면, 항상 3개의 요청이 진행 중이므로 최대 동시 요청 수와 평균은 모두 3입니다.

예시 2: 일괄 요청 반면, 각각 완료에 3초가 걸리는 분당 180개의 요청을 모두 한 번에 실행하는 다른 사용 패턴이라면, 최대 동시 요청 수는 180이고 평균은 9입니다(1분 중 처음 3초에는 180개의 요청이 동시에 발생하고, 마지막 57초에는 요청이 0개입니다).

시스템은 동시성을 기준으로 하므로 분당 요청 수보다 각 요청에 걸리는 시간과 요청을 보내는 패턴이 더 중요합니다.

엔드포인트 요청 방식은 동시성 한도에 영향을 미칩니다.

• HTTP에서는 각 요청이 동시성 한도에 개별적으로 포함됩니다.
• 텍스트 음성 변환 WebSocket에서는 모델이 오디오를 생성하는 시간만 동시성 한도에 포함됩니다. 즉, 대부분의 시간 동안 열린 websocket은 동시성 한도에 전혀 포함되지 않습니다.
• 텍스트 대화 WebSocket은 다르게 작동합니다. 열린 연결 하나당 연결이 유지되는 동안 별도 풀에서 대화 세션 하나를 예약하며, 연결을 통해 생성되는 오디오는 표준 동시성 한도에 포함되지 않습니다. 연결 하나가 세션 하나이므로 더 쉽게 파악할 수 있도록 설계되었으며, 대화 세션 한도는 이 새로운 동시성 방식에 맞춰 조정됩니다. 텍스트 대화 동시성을 참조하세요.

동시성 한도 이해하기

플랜과 연결된 동시성 한도를 동시에 처리할 수 있는 최대 대화 수, 전화 통화 수, 캐릭터 보이스오버 수 등으로 해석해서는 안 됩니다. 실제 수는 사용 중인 특정 AI 음성과 사용 사례의 특성을 비롯한 여러 요인에 따라 달라집니다.

일반적으로 동시성 한도 5는 약 100개의 동시 오디오 방송을 지원할 수 있습니다.

이는 오디오 생성 속도가 TTS 요청 처리 시간에 비해 빠르기 때문입니다. 아래 다이어그램은 서로 다른 사용자와의 통화 4개를 지원하면서 동시 요청은 2개만 사용하는 예시입니다.

어느 시점에서든 플랜의 동시성 한도를 초과하더라도 엔터프라이즈 플랜을 사용 중이라면, 사용 가능한 용량에 따라 최선의 노력 기준으로 더 느리게 모델 요청이 성공할 수 있습니다.

텍스트 대화 동시성

텍스트 대화 요청은 API 호출 방식에 따라 두 가지 방식으로 측정됩니다.

• HTTP 엔드포인트(대화 생성 및 대화 스트리밍)는 다른 텍스트 음성 변환 요청과 마찬가지로 오디오가 생성되는 동안 플랜의 표준 동시성 한도에 포함됩니다.
• 텍스트 대화 WebSocket과 같은 WebSocket 엔드포인트는 대화 세션으로 측정됩니다. 열린 연결은 현재 오디오 생성 여부와 관계없이 연결이 유지되는 동안 대화 세션을 점유합니다.

세션 기반 측정은 용량 계획을 간단하게 해줍니다. 연결 하나가 세션 하나이므로 생성 활동에 따라 사용량이 변동하지 않습니다. 오디오 생성 중에만이 아니라 전체 연결 기간 동안 세션이 점유되므로, 대화 세션 한도는 이 새로운 동시성 방식에 맞춰 조정됩니다.

워크스페이스의 모든 대화 세션이 사용 중인 상태에서 연결을 열면 새 연결은 too_many_concurrent_requests 오류와 함께 거부됩니다. 세션을 확보하려면 더 이상 필요하지 않은 연결을 닫으세요. keep_alive 메시지를 보내지 않으면 연결은 20초 동안 비활성 상태인 후 자동으로 닫힙니다.

대화 세션을 모니터링하려면 대시보드 사이드바 하단에서 개발자를 열고 분석 탭을 선택한 다음, 사용량 보기에서 동시 요청 측정항목을 확인하세요. 대화 세션은 다른 동시 요청과 별도로 TTD Websocket Sessions라는 자체 시리즈로 보고됩니다.

동시성 한도 스케일 테스트

스케일 테스트는 클라이언트 측 확장 문제를 파악하고 사용 사례에 맞게 동시성 한도가 올바르게 설정되었는지 확인하는 데 유용할 수 있습니다.

실제 사용 환경에 최대한 가깝게 엔드투엔드 워크플로를 테스트하는 것을 강력히 권장합니다. 이를 위해 지원 가능한 사용자 수를 시뮬레이션하고 측정하는 방법을 권장합니다. 다음 사항이 중요합니다.

• 원시 요청이 아닌 사용자를 시뮬레이션합니다.
• 요청하기 전에 오디오 재생, 사용자 발화 또는 전사가 완료될 때까지 기다리는 등 일반적인 사용자 행동을 시뮬레이션합니다.
• 몇 분에 걸쳐 사용자 수를 천천히 늘립니다.
• 요청 시점과 요청 크기에 무작위성을 추가합니다.
• 지연 시간 측정항목과 API에서 반환된 모든 오류 코드를 수집합니다.

예를 들어, 100개의 동시 대화를 지원하도록 설계된 에이전트 시스템을 테스트하려면 각각 대화를 시뮬레이션하는 최대 100명의 개별 “사용자”를 생성합니다. 대화는 일반적으로 약 10초간의 사용자 발화, 약 150자에 대한 TTS API 호출, 약 10초간의 사용자 오디오 재생이 반복되는 주기로 구성됩니다. 따라서 각 사용자는 20초마다 150자 텍스트에 대해 websocket 텍스트 음성 변환 API 호출을 수행해야 하며, 대기 시간과 요청 문자 수에 소량의 무작위성을 추가해야 합니다. 테스트는 100명이 될 때까지 초당 한 명의 사용자를 생성한 다음, 전반적인 안정성을 테스트하기 위해 총 10분간 진행합니다.

import json
import random
import time
import gevent
import locust
from locust import User, task, events, constant_throughput
import websocket
# Averages up to 10 seconds of audio when played, depends on the voice speed
DEFAULT_TEXT = (
    "Hello, this is a test message. I am testing if a long input will cause issues for the model "
    "like this sentence. "
)
TEXT_ARRAY = [
    "Hello.",
    "Hello, this is a test message.",
    DEFAULT_TEXT,
    DEFAULT_TEXT * 2,
    DEFAULT_TEXT * 3
]
# Custom command line arguments
@events.init_command_line_parser.add_listener
def on_parser_init(parser):
    parser.add_argument("--api-key", default="YOUR_API_KEY", help="API key for authentication")
    parser.add_argument("--encoding", default="mp3_22050_32", help="Encoding")
    parser.add_argument("--text", default=DEFAULT_TEXT, help="Text to use")
    parser.add_argument("--use-text-array", default="false", help="Text to use")
    parser.add_argument("--voice-id", default="aria", help="Text to use")
class WebSocketTTSUser(User):
    # Each user will send a request every 20 seconds, regardless of how long each request takes
    wait_time = constant_throughput(0.05)
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.api_key = self.environment.parsed_options.api_key
        self.voice_id = self.environment.parsed_options.voice_id
        self.text = self.environment.parsed_options.text
        self.encoding = self.environment.parsed_options.encoding
        self.use_text_array = self.environment.parsed_options.use_text_array
        if self.use_text_array:
            self.text = random.choice(TEXT_ARRAY)
        self.all_recieved = False
    @task
    def tts_task(self):
        # Do jitter waiting of up to 1 second
        # Users appear to be spawned every second so this ensures requests are not aligned
        gevent.sleep(random.random())
        max_wait_time = 10
        # Connection details
        uri = f"{self.environment.host}/v1/text-to-speech/{self.voice_id}/stream-input?auto_mode=true&output_format={self.encoding}"
        headers = {"xi-api-key": self.api_key}
        ws = None
        self.all_recieved = False
        try:
            init_msg = {"text": " "}
            # Use proper header format for websocket - this is case sensitive!
            ws = websocket.create_connection(uri, header=headers)
            ws.send(json.dumps(init_msg))
            # Start measuring after websocket initiated but before any messages are sent
            send_request_time = time.perf_counter()
            ws.send(json.dumps({"text": self.text}))
            # Send to flush and receive the audio
            ws.send(json.dumps({"text": ""}))
            def _receive():
                t_first_response = None
                audio_size = 0
                try:
                    while True:
                        # Wait up to 10 seconds for a response
                        ws.settimeout(max_wait_time)
                        response = ws.recv()
                        response_data = json.loads(response)
                        if "audio" in response_data and response_data["audio"]:
                            audio_size = audio_size + len(response_data["audio"])
                        if t_first_response is None:
                            t_first_response = time.perf_counter()
                            first_byte_ms = (
                                t_first_response - send_request_time
                            ) * 1000
                            if audio_size is None:
                                # The first response should always have audio
                                locust.events.request.fire(
                                    request_type="websocket",
                                    name="Bad Response (no audio)",
                                    response_time=first_byte_ms,
                                    response_length=audio_size,
                                    exception=Exception("Response has no audio"),
                                )
                                break
                        if "isFinal" in response_data and response_data["isFinal"]:
                            # Fire this event once finished streaming, but report the important TTFB metric
                            locust.events.request.fire(
                                request_type="websocket",
                                name="TTS Stream Success (First Byte)",
                                response_time=first_byte_ms,
                                response_length=audio_size,
                                exception=None,
                            )
                            break
                except websocket.WebSocketTimeoutException:
                    locust.events.request.fire(
                        request_type="websocket",
                        name="TTS Stream Timeout",
                        response_time=max_wait_time * 1000,
                        response_length=audio_size,
                        exception=Exception("Timeout waiting for response"),
                    )
                except Exception as e:
                    # Typically JSON decode error if the server returns HTTP backoff error
                    locust.events.request.fire(
                        request_type="websocket",
                        name="TTS Stream Failure",
                        response_time=0,
                        response_length=0,
                        exception=e,
                    )
                finally:
                    self.all_recieved = True
            gevent.spawn(_receive)
            # Sleep until recieved so new tasks aren't spawned
            while not self.all_recieved:
                gevent.sleep(1)
        except websocket.WebSocketTimeoutException:
            locust.events.request.fire(
                request_type="websocket",
                name="TTS Stream Timeout",
                response_time=max_wait_time * 1000,
                response_length=0,
                exception=Exception("Timeout waiting for response"),
            )
        except Exception as e:
            locust.events.request.fire(
                request_type="websocket",
                name="TTS Stream Failure",
                response_time=0,
                response_length=0,
                exception=e,
            )
        finally:
            # Try and close the websocket gracefully
            try:
                if ws:
                    ws.close()
            except Exception:
                pass