탐색으로 건너뛰기

Eleven v4

최신이자 가장 뛰어난 텍스트 음성 변환 모델.

Eleven v4는 최신이자 가장 뛰어난 텍스트 음성 변환 모델이며, 새로운 세대의 첫 번째 모델입니다. Eleven v3와 비교해 출력 품질, 음성 정확도, 일관성, 감정 표현, 전달력, 오디오 태그 및 언어 지원 범위가 개선되었습니다.

전반적으로 Eleven v4는 거의 모든 경우에서 더 나은 결과를 제공하는 Eleven v3의 업그레이드 버전입니다. v4로 전환한 뒤 직접 만든 음성과 콘텐츠로 테스트해 차이를 확인해 보시기를 강력히 권장합니다. 일부 특수한 경우에는 다른 모델이 더 적합할 수 있지만, 대부분의 사용자에게는 v4가 더 나은 선택일 것입니다.

태그, 문장 부호 및 대화 프롬프팅에 관한 내용은 Eleven v4 프롬프팅을 참고하세요.

음성 복제

Eleven v4에서는 음성 복제 정확도가 크게 향상되었습니다. 복제된 음성은 음색, 리듬, 전달력 등 원본 음성의 특성을 이전 어떤 모델보다도 더 충실하게 담아냅니다.

Eleven v4의 즉석 음성 복제(IVC)는 그 어느 때보다 정확합니다. 원본 음성의 핵심 특성을 더욱 충실하게 포착하므로, 짧은 오디오 샘플만으로도 설득력 있는 복제 음성을 빠르게 만들기 쉽습니다.

즉석 음성 복제는 Eleven v4에서 대폭 업그레이드되어 전반적으로 눈에 띄게 더 높은 정확도를 제공합니다. 아직 사용해 보지 않으셨다면, 지금이 직접 만든 오디오로 테스트해 보기 좋은 시점입니다.

프로페셔널 음성 복제(PVC)는 Eleven v4에서 완전히 지원됩니다. 음성 정확도의 동일한 발전을 기반으로 하며, 최고 수준의 일관성과 제어가 필요한 workflow를 위해 원본 음성을 더욱 충실하게 재현합니다.

이처럼 정확도가 크게 향상되었기 때문에 Eleven v4는 Eleven v3와 상당히 다르게 들릴 수 있습니다. Eleven v3는 전달력과 정확도에 중점을 두어 Eleven v4의 토대를 마련했으며, Eleven v4는 그 토대 위에서 음성 정확도를 크게 개선했습니다. 따라서 Eleven v4는 원본 음성을 더욱 충실하게 포착하도록 설계되었지만, 여전히 Eleven v3에서의 음성 소리를 더 선호할 수도 있습니다. 정확도와 개인적 선호는 항상 같지 않으므로, 사용 사례에 가장 적합한 버전을 선택할 수 있도록 자체 콘텐츠로 두 버전을 모두 비교해 보시기를 권장합니다.

Eleven v4는 억양, 전달력, 음량 및 기타 고유한 특성을 포함해 원본 음성의 특징을 더 충실하게 재현하므로, 원본 녹음 품질이 그 어느 때보다 중요해졌습니다. 선명하고 깨끗한 학습 오디오는 원치 않는 소리나 특성을 추가하지 않고 Eleven v4가 음성을 정확하게 포착하도록 돕습니다. 배경 소음, 왜곡 또는 기타 녹음 문제는 결과에 영향을 줄 수 있습니다.

Eleven v4를 가장 잘 활용하는 방법을 알아보기 위해 계속 실험하고 있습니다. 지금까지는 특히 프로페셔널 음성 복제처럼 학습 오디오가 많은 경우, 미묘한 오디오 특성을 포착하는 능력이 훨씬 뛰어난 것으로 보입니다. 더 다양한 데이터 세트로 모델을 제어하는 방식을 계속 테스트하면서, 다양한 학습 데이터 사용에 대한 가이드가 변경될 수 있습니다. 현재로서는 학습 오디오에서 하나의 말하기 스타일을 유지하는 것을 권장하며, Eleven v4는 이전 모델보다 이를 더 잘 포착할 것입니다.

네이티브 억양 처리

이는 Eleven v4가 이전 모델과 비교해 달라진 가장 큰 변화 중 하나이므로, 명확히 이해해 둘 필요가 있습니다.

생성하려는 언어가 참조 음성의 언어와 같으면, 원래 억양은 이전과 정확히 동일하게 유지됩니다.

생성하려는 언어가 참조 음성의 언어와 다르면, Eleven v4는 참조 음성의 원래 언어 억양을 유지하는 대신 대상 언어로 유창하고 자연스럽게 들리는 음성을 생성합니다.

실제로는 한국어 화자의 음성을 복제한 후 영어를 생성하면, Eleven v4는 한국어 억양이 묻어나는 영어가 아니라 자연스럽고 유창한 영어를 생성합니다. 따라서 모든 음성을 지원되는 모든 언어에서 사용할 수 있으며, 특히 더빙, 다국어 콘텐츠, 하나의 음성으로 여러 언어의 사용자에게 서비스를 제공해야 하는 음성 에이전트에 유용합니다.

다른 언어에서도 해당 음성이 원래 억양을 유지해야 하는 workflow라면, 마이그레이션 전에 Eleven v4에서 이 동작을 직접 테스트하세요. 이는 언어 간 생성 방식의 의도적인 변경이며 버그가 아닙니다.

다만 이 새로운 기능은 아직 세부 조정 중이며, 항상 켜져 있는 대신 토글로 설정할 수 있는 방법을 검토하고 있습니다. 이는 아직 연구 프로젝트 단계이므로, 현재로서는 일정이나 추가 정보를 제공해 드릴 수 없습니다.

모델 변형

Eleven v4는 두 가지 변형으로 제공되므로, 사용 사례에 맞춰 품질과 속도의 적절한 균형을 선택할 수 있습니다.

  • Eleven v4 (eleven_v4) — 최고 품질의 모델로, 콘텐츠 제작, 오디오북, 캐릭터 보이스오버 및 품질이 최우선인 모든 사용 사례에 적합합니다.
  • Eleven v4 Turbo (eleven_v4_turbo) — 매우 낮은 지연 시간을 유지하면서도 뛰어난 고품질을 제공하며, 대화형 에이전트와 인터랙티브 음성 경험 같은 실시간 사용 사례를 위해 특별히 설계되었습니다.

두 변형 모두 안정성과 유사성이라는 두 가지 음성 설정을 사용합니다.

안정성은 생성 결과 전반에서 전달 방식이 얼마나 일관되게 유지되는지 제어합니다. 낮은 값은 더 풍부하고 다양한 전달을 허용하며, 높은 값은 음성 표현을 일정한 기준선에 가깝게 유지합니다.

유사성은 출력이 참조 음성을 얼마나 밀접하게 따르는지 제어합니다. 높은 값은 참조 음성을 더 엄격하게 따르도록 하지만, 일부 자연스러움이 줄어들 수 있습니다.

프로페셔널 음성 복제와 Eleven v4를 선택하면 음성 설정에 추가 복제 강도 슬라이더가 포함됩니다. 복제 강도는 출력이 복제 음성의 학습 녹음을 얼마나 밀접하게 따르는지 제어합니다. 낮은 값에서는 음성이 약간 부드러워지고 전달 방식의 표현 유연성이 높아져, 원본 음성처럼 들리면서도 전반적으로 더 좋은 소리가 나는 경우가 많습니다. 높은 값에서는 부드러운 처리가 줄어들고 출력이 학습 녹음에 더 가깝게 유지되어 원본 음성의 전달 방식과 표현을 더 충실히 모방합니다. 높은 값은 특색 있는 특징이나 고유한 억양을 지닌 음성에 특히 유용할 수 있습니다. 대부분의 음성에서는 0%부터 시작하세요.

Eleven v4에서는 스타일 및 속도 슬라이더를 사용할 수 없으며, SSML도 지원되지 않습니다.

오디오 태그(예: [whispering], [shouting], [laughing])를 사용하면 세밀하게 전달 방식을 지시할 수 있으며, Eleven v4는 이전 모델을 뛰어넘는 수준의 섬세함으로 이를 처리합니다. 아직 완벽하지는 않으며, 모델이 태그 지시를 얼마나 안정적으로 따르는지 지속적으로 개선하고 있습니다. 이는 현재도 적극적으로 투자하고 있는 영역이며 계속해서 나아질 것입니다.

쇼케이스

이 예시는 원본 그대로입니다. EQ, 컴프레션, 노멀라이제이션, 디에서싱, 파열음 제거 또는 유사한 처리를 과도하게 적용하지 않았습니다. 클리핑, 파열음, 고르지 않은 EQ 또는 음량 변화 같은 반복적인 문제가 들린다면, 해당 문제는 그 음성의 학습 데이터에 포함되어 있을 가능성이 매우 높습니다. Eleven v4 모델은 결함까지도 매우 정확하게 포착하기 때문에 이를 그대로 담아냈을 뿐입니다. 모델이 생성한 결과를 직접 들을 수 있도록 오디오는 수정하지 않았습니다.

음성 복제 정확도

각 예시는 보이스 라이브러리 미리 보기로 시작합니다. 그런 다음 일부 텍스트를 가져와 해당 음성의 즉석 음성 복제를 사용해 Eleven v3와 Eleven v4에서 모두 생성했습니다.

완벽한 비교는 아닙니다. Eleven v4는 프로페셔널 음성 복제도 지원하며, 이를 사용하면 일치도를 더욱 높일 수 있습니다. 다만 더 공정한 비교를 위해 Eleven v3와 Eleven v4 모두에 즉석 음성 복제를 사용했습니다.

이 예시는 모델이 원본 음성을 얼마나 많이 포착하는지 보여줍니다. 여기에는 파열음, 거친 치찰음, 음량 변동과 같은 오디오의 사소한 세부 사항과 불완전함은 물론 EQ, 품질, 음량도 포함된다는 점이 중요합니다.

미리 보기, Eleven v3, Eleven v4 순서로 들어보세요.

음성 NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

음성 HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

보이스 연기

이는 Eleven v4로 생성된 결과입니다. 텍스트의 오디오 태그가 전달 방식을 지시합니다.

음성 EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

음성 t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

오디오북

이는 Eleven v4 내레이션입니다. 태그는 장면의 속도와 분위기를 설정합니다.

음성 KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

모델은 계속 발전합니다

Eleven v4는 활발하고 지속적으로 개발되고 있습니다. 출시 후에도 모델 학습과 개선을 계속하므로, 품질이 향상됨에 따라 시간이 지나면서 동작이 달라질 수 있습니다. 모델이 발전함에 따라 사용 사례를 주기적으로 다시 테스트해 보시기를 권장하며, 의미 있는 업데이트가 출시되면 공유하겠습니다.

FAQ

Eleven v4 모델 제품군은 다음을 포함해 90개 이상의 언어를 지원합니다.

아프리칸스어 (af), 암하라어 (am), 아랍어 (ar), 아르메니아어 (hy), 아삼어 (as), 아스투리아스어 (ast), 아제르바이잔어 (az), 벨라루스어 (be), 벵골어 (bn), 보스니아어 (bs), 불가리아어 (bg), 버마어 (my), 광둥어 (yue), 카탈루냐어 (ca), 세부아노어 (ceb), 크로아티아어 (hr), 체코어 (cs), 덴마크어 (da), 네덜란드어 (nl), 영어 (en), 에스토니아어 (et), 필리핀어 (fil), 핀란드어 (fi), 프랑스어 (fr), 풀라어(풀라르) (ff), 갈리시아어 (gl), 조지아어 (ka), 독일어 (de), 그리스어 (el), 구자라트어 (gu), 하우사어 (ha), 히브리어 (he), 힌디어 (hi), 헝가리어 (hu), 아이슬란드어 (is), 인도네시아어 (id), 이탈리아어 (it), 일본어 (ja), 자바어 (jv), 캄바어 (kam), 칸나다어 (kn), 카자흐어 (kk), 한국어 (ko), 키르기스어 (ky), 라오어 (lo), 라트비아어 (lv), 링갈라어 (ln), 리투아니아어 (lt), 루간다어 (lg), 룩셈부르크어 (lb), 마케도니아어 (mk), 말레이어 (ms), 말라얄람어 (ml), 몰타어 (mt), 중국어 만다린 (zh), 마오리어 (mi), 마라티어 (mr), 몽골어 (mn), 네팔어 (ne), 노르웨이어 (no), 오크어 (oc), 오디아어 (or), 파슈토어 (ps), 페르시아어 (fa), 폴란드어 (pl), 포르투갈어 (pt), 펀자브어 (pa), 루마니아어 (ro), 러시아어 (ru), 세르비아어 (sr), 쇼나어 (sn), 신디어 (sd), 슬로바키아어 (sk), 슬로베니아어 (sl), 소말리어 (so), 소라니 쿠르드어 (ckb), 스페인어 (es), 스와힐리어 (sw), 스웨덴어 (sv), 타지크어 (tg), 타밀어 (ta), 텔루구어 (te), 태국어 (th), 튀르키예어 (tr), 우크라이나어 (uk), 우르두어 (ur), 우즈베크어 (uz), 베트남어 (vi), 웨일스어 (cy), 월로프어 (wo), 줄루어 (zu).

language_code 매개변수는 대부분의 언어에 ISO 639-1 두 글자 코드를 사용할 수 있습니다. ISO 639-1 코드가 없는 언어는 ISO 639-3 세 글자 코드를 사용합니다. 아스투리아스어 (ast), 광둥어 (yue), 세부아노어 (ceb), 필리핀어 (fil), 캄바어 (kam), 소라니 쿠르드어 (ckb)가 이에 해당합니다.

참조 음성과 생성된 음성이 같은 언어인 경우 음성의 억양이 유지됩니다. 예를 들어 특정 영어 억양으로 영어를 말하는 사람의 음성을 복제한 후 영어 음성을 생성하면, 해당 억양이 유지됩니다.

기본적으로 생성 언어가 참조 음성의 언어와 다르면 Eleven v4는 참조 억양을 유지하기보다 대상 언어로 유창하고 자연스럽게 들리는 음성을 생성합니다. 오디오 태그를 사용해 억양이나 전달 스타일을 유도해 볼 수 있지만, 결과는 달라질 수 있으므로 특정 음성과 사용 사례로 테스트하세요.

일반적으로 Eleven v4는 음색, 리듬, 전달력 및 기타 말하기 습관을 포함해 원본 음성의 특성을 Eleven v3보다 훨씬 정확하게 재현합니다. 따라서 Eleven v4 복제 음성은 일반적으로 원본 음성과 더 비슷하게 들리며, Eleven v3 버전과는 상당히 다르게 들릴 수 있습니다.

Eleven v4는 즉석 음성 복제와 프로페셔널 음성 복제를 모두 지원합니다.

즉석 음성 복제에서는 별도의 학습 단계 없이 음성을 만들 수 있습니다. 일반적으로 1~2분 길이의 짧은 샘플을 업로드하면 몇 초 안에 사용할 수 있는 음성이 만들어집니다.

프로페셔널 음성 복제는 이전 모델에서와 동일한 방식으로 작동합니다. 더 긴 녹음 세트로 전용 모델을 학습합니다.

이미 프로페셔널 음성 복제가 있고 Eleven v4에서 학습하려면 내 음성을 열어 목록에서 음성을 찾고 마우스를 올리세요. 해당 음성에 사용할 수 있는 모델이 표시됩니다. Eleven v4 옆의 더하기 버튼을 클릭하면 파인튜닝이 시작됩니다.

보이스 디자인 음성은 Eleven v4에서 작동하지만, 이전 모델만큼 표현력이 좋거나 좋은 소리로 들리지는 않을 수 있습니다.