Eleven v4

Eleven v4는 최신이자 가장 진보된 텍스트 음성 변환 모델이며, 새로운 세대의 첫 번째 모델입니다. Eleven v3와 비교해 출력 품질, 음성 정확도, 일관성, 감정, 전달 방식, 오디오 태그 및 언어 지원 범위가 향상되었습니다.

전반적으로 Eleven v4는 Eleven v3보다 거의 모든 경우에서 더 나은 결과를 제공하는 업그레이드입니다. 직접 차이를 확인할 수 있도록 v4로 전환한 뒤 자체 음성과 콘텐츠로 테스트해 보실 것을 강력히 권장합니다. 일부 특수한 경우에는 다른 모델이 더 적합할 수 있지만, 대부분의 사용자에게는 v4가 더 나은 선택일 것입니다.

태그, 문장 부호 및 대화 프롬프팅은 Eleven v4 프롬프팅을 참조하세요.

음성 복제

Eleven v4로 음성 복제 정확도가 크게 향상되었습니다. 복제된 음성은 어떤 이전 모델보다도 원본 음성의 특성, 즉 음색, 리듬, 전달 방식을 더욱 충실히 담아냅니다.

인스턴트 음성 복제(IVC)는 Eleven v4에서 그 어느 때보다 정확합니다. 원본 음성의 핵심 특성을 더욱 충실히 담아내므로, 짧은 오디오 샘플만으로도 설득력 있는 복제 음성을 빠르게 만들기 쉬워집니다.

프로페셔널 음성 복제(PVC)는 Eleven v4에서 완전히 지원됩니다. 음성 정확도 개선을 동일하게 적용하여, 최고 수준의 일관성과 제어가 필요한 워크플로에 원본 음성을 더욱 충실하게 재현합니다.

이처럼 정확도가 크게 향상되었기 때문에 Eleven v4는 Eleven v3와 상당히 다르게 들릴 수 있습니다. Eleven v3는 전달 방식과 정확성에 중점을 두며 Eleven v4의 토대를 마련했고, Eleven v4는 이 기반 위에서 음성 정확도를 크게 개선했습니다. 따라서 Eleven v4는 원본 음성을 더욱 충실하게 포착하도록 설계되었지만, Eleven v3에서 들리던 음성을 더 선호할 수도 있습니다. 정확성과 개인적 선호는 항상 같지 않으므로, 사용 사례에 가장 적합한 모델을 선택하려면 자체 콘텐츠로 두 버전을 비교해 보시길 권장합니다.

Eleven v4는 액센트, 전달 방식, 음량 및 기타 고유한 특성을 포함해 원본 음성의 특성을 더 충실히 재현하므로, 원본 녹음의 품질이 그 어느 때보다 중요합니다. 선명하고 깨끗한 학습 오디오는 원치 않는 소리나 특성을 추가하지 않고 Eleven v4가 음성을 정확하게 포착하도록 돕습니다. 배경 소음, 왜곡 또는 기타 녹음 문제는 결과에 영향을 줄 수 있습니다.

Eleven v4를 가장 잘 사용하는 방법을 파악하기 위해 계속 실험하고 있습니다. 지금까지는 특히 프로페셔널 음성 복제처럼 학습 오디오가 많은 경우에 미묘한 오디오 특성을 포착하는 능력이 훨씬 뛰어난 것으로 보입니다. 더 다양한 데이터 세트로 모델을 제어하는 방법을 계속 테스트함에 따라 다양한 학습 데이터 사용에 관한 지침도 바뀔 수 있습니다. 현재로서는 학습 오디오에서 하나의 말하기 스타일을 유지하는 것이 좋으며, Eleven v4는 이전 모델보다 이를 더 잘 포착할 것입니다.

네이티브 액센트 처리

이는 Eleven v4가 이전 모델들과 비교해 가장 크게 바뀐 부분 중 하나이므로, 명확히 이해할 필요가 있습니다.

생성하려는 언어가 참조 음성의 언어와 같으면 기존과 마찬가지로 원래 액센트가 그대로 유지됩니다.

생성하려는 언어가 참조 음성의 언어와 다르면, Eleven v4는 참조 음성의 원래 언어 액센트를 유지하는 대신 대상 언어로 유창하고 자연스럽게 들리는 음성을 생성합니다.

예를 들어 한국어 화자의 음성을 복제한 후 영어를 생성하면, Eleven v4는 한국어 액센트가 섞인 영어가 아니라 자연스럽고 유창한 영어를 생성합니다. 따라서 지원되는 모든 언어에서 모든 음성을 사용할 수 있으며, 특히 더빙, 다국어 콘텐츠, 단일 음성으로 여러 언어의 사용자에게 서비스를 제공해야 하는 음성 에이전트에 유용합니다.

워크플로에서 음성이 다른 언어에서도 원래 액센트를 유지해야 한다면, 마이그레이션하기 전에 Eleven v4에서 이 동작을 직접 테스트하세요. 이는 언어 간 생성 방식의 의도적인 변경이며 버그가 아닙니다.

다만 이 새로운 기능은 아직 미세 조정 중이며, 항상 켜져 있는 대신 토글로 설정할 수 있는 방법을 모색하고 있습니다. 이는 아직 연구 프로젝트 단계이므로, 현재로서는 일정이나 추가 정보가 없습니다.

모델 변형

Eleven v4는 두 가지 변형 모델로 제공되므로, 사용 사례에 맞춰 품질과 속도의 적절한 균형을 선택할 수 있습니다.

• Eleven v4 (eleven_v4) — 최고 품질의 모델로, 콘텐츠 제작, 오디오북, 캐릭터 보이스오버 및 품질이 최우선인 모든 사용 사례에 이상적입니다.
• Eleven v4 Turbo (eleven_v4_turbo) — 매우 낮은 지연 시간을 유지하면서도 탁월한 고품질을 제공하며, 대화형 에이전트와 인터랙티브 음성 경험 같은 실시간 사용 사례를 위해 설계되었습니다.

두 변형 모델 모두 안정성 및 유사성이라는 두 가지 음성 설정을 사용합니다.

안정성은 생성 결과 전반에 걸쳐 전달 방식이 얼마나 일관되게 유지되는지 제어합니다. 값이 낮을수록 더욱 표현력 있고 다양한 전달이 가능하며, 값이 높을수록 고정된 기준선에 가까운 표현을 유지합니다.

유사성은 출력이 참조 음성을 얼마나 가깝게 따르는지 제어합니다. 값이 높을수록 참조 음성을 더 엄격하게 따르지만, 자연스러움이 일부 떨어질 수 있습니다.

Eleven v4에서는 스타일 및 속도 슬라이더를 사용할 수 없으며, SSML도 지원되지 않습니다.

오디오 태그(예: [whispering], [shouting], [laughing])를 사용하면 전달 방식을 세밀하게 제어할 수 있으며, Eleven v4는 이전 모델보다 한층 더 섬세하게 처리합니다. 아직 완벽하지는 않으며, 모델이 태그 지시를 얼마나 안정적으로 따르는지 계속 개선하고 있습니다. 이는 지속적으로 투자 중인 분야이며 계속 발전할 것입니다.

쇼케이스

음성 복제 정확도

각 예시는 보이스 라이브러리 미리보기로 시작합니다. 그런 다음 일부 텍스트를 가져와 Eleven v3와 Eleven v4에서 해당 음성의 인스턴트 음성 복제를 사용해 생성했습니다.

완벽한 비교는 아닙니다. Eleven v4는 매칭을 더욱 향상할 수 있는 프로페셔널 음성 복제도 지원합니다. 그러나 더 공정한 비교를 위해 Eleven v3와 Eleven v4 모두 인스턴트 음성 복제를 사용했습니다.

이 예시는 모델이 원본 음성을 얼마나 포착하는지 보여줍니다. 여기에는 EQ, 품질, 음량뿐 아니라 파열음, 거친 치찰음, 음량 변동 등 오디오의 기타 사소한 세부 사항과 불완전성도 포함된다는 점에 유의하세요.

미리보기, Eleven v3, Eleven v4 순서로 들어보세요.

음성 NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

음성 HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

성우 연기

이는 Eleven v4로 생성한 결과입니다. 텍스트의 오디오 태그가 전달 방식을 지정합니다.

음성 EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

음성 t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

오디오북

이는 Eleven v4 내레이션입니다. 태그가 장면의 속도와 분위기를 설정합니다.

음성 KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

모델은 계속 발전합니다

Eleven v4는 지속적으로 활발히 개발되고 있습니다. 출시 후에도 모델을 계속 학습하고 개선함에 따라 품질이 향상되면서 시간이 지나 행동 방식이 달라질 수 있습니다. 모델이 발전함에 따라 사용 사례를 정기적으로 다시 테스트해 보시길 권장하며, 의미 있는 업데이트가 제공되면 공유하겠습니다.

FAQ