Eleven v4

Eleven v4는 최신이자 가장 고도화된 텍스트 음성 변환 모델이며, 새로운 세대의 모델 중 첫 번째 모델입니다. Eleven v3와 비교해 출력 품질, 음성 정확도, 일관성, 감정, 전달력, 오디오 태그 및 지원 언어 범위가 향상되었습니다.

전반적으로 Eleven v4는 Eleven v3보다 한 단계 업그레이드된 모델로, 거의 모든 경우에 더 나은 결과를 제공합니다. v4로 전환한 뒤 자체 음성과 콘텐츠로 테스트해 차이를 직접 확인해 보실 것을 강력히 권장합니다. 일부 특수한 경우에는 다른 모델이 더 적합할 수 있지만, 대부분의 사용자에게는 v4가 더 나은 선택일 것입니다.

태그, 문장 부호 및 대화 프롬프팅에 대해서는 Eleven v4 프롬프팅을 참조하세요.

음성 복제

Eleven v4에서는 음성 복제 정확도가 크게 향상되었습니다. 복제된 음성은 음색, 리듬, 전달 방식 등 원본 음성의 특성을 이전 어떤 모델보다 충실하게 담아냅니다.

Instant Voice Clone(IVC)은 Eleven v4에서 그 어느 때보다 정확해졌습니다. 원본 음성의 핵심 특성을 더욱 충실하게 포착하므로, 짧은 오디오 샘플만으로도 설득력 있는 복제 음성을 빠르게 만들 수 있습니다.

Professional Voice Clone(PVC)은 Eleven v4에서 완전히 지원됩니다. 음성 정확도 향상을 바탕으로, 최고 수준의 일관성과 제어가 필요한 워크플로에 원본 음성을 더욱 충실하게 재현합니다.

이처럼 정확도가 크게 향상되었기 때문에 Eleven v4는 Eleven v3와 상당히 다르게 들릴 수 있습니다. Eleven v3는 전달력과 정확도에 중점을 두어 Eleven v4의 기반을 마련했으며, Eleven v4는 이 기반 위에서 음성 정확도를 대폭 개선했습니다. 따라서 Eleven v4는 원본 음성을 더 충실하게 포착하도록 설계되었지만, 여전히 Eleven v3에서의 음성 사운드를 더 선호할 수도 있습니다. 정확도와 개인적인 선호는 항상 같지 않으므로, 사용 사례에 가장 적합한 버전을 선택할 수 있도록 자체 콘텐츠로 두 버전을 비교해 보시길 권장합니다.

Eleven v4는 억양, 전달 방식, 음량 및 기타 고유한 특성을 포함한 원본 음성의 특성을 더욱 충실하게 재현하므로, 소스 녹음의 품질이 그 어느 때보다 중요합니다. 선명하고 깨끗한 학습 오디오는 Eleven v4가 원치 않는 소리나 특성을 추가하지 않고 음성을 정확하게 포착하도록 돕습니다. 배경 소음, 왜곡 또는 기타 녹음 문제는 결과에 영향을 줄 수 있습니다.

ElevenLabs는 Eleven v4를 가장 잘 활용하는 방법을 파악하기 위해 계속 실험하고 있습니다. 지금까지는 특히 Professional Voice Clone처럼 학습 오디오가 많은 경우, 미묘한 오디오 특성을 포착하는 능력이 훨씬 뛰어난 것으로 보입니다. 더 다양한 데이터 세트로 모델을 제어하는 방법을 계속 테스트하면서, 다양한 학습 데이터를 사용하는 방법에 대한 가이드가 바뀔 수 있습니다. 현재로서는 학습 오디오에서 하나의 발화 스타일을 유지하는 것을 권장하며, Eleven v4는 이전 모델보다 이를 더 잘 포착할 것입니다.

네이티브 억양 처리

이는 Eleven v4가 이전 모델들과 비교해 달라진 가장 큰 변화 중 하나이므로, 명확히 이해할 필요가 있습니다.

생성하는 언어가 참조 음성의 언어와 일치하면, 원래 억양은 이전과 동일하게 그대로 유지됩니다.

생성하는 언어가 참조 음성의 언어와 다르면, Eleven v4는 원래 언어의 참조 음성 억양을 그대로 가져오는 대신 대상 언어로 유창하고 자연스럽게 들리는 음성을 생성합니다.

실제로는 한국어 화자의 음성을 복제해 영어를 생성할 경우, Eleven v4는 한국어 억양이 섞인 영어가 아닌 자연스럽고 유창한 영어를 생성합니다. 따라서 모든 음성을 지원되는 모든 언어에서 사용할 수 있으며, 특히 더빙, 다국어 콘텐츠, 단일 음성으로 여러 언어의 사용자에게 서비스를 제공해야 하는 음성 에이전트에 유용합니다.

워크플로에서 음성이 다른 언어에서도 고유의 억양을 유지해야 한다면, 마이그레이션하기 전에 Eleven v4에서 이 동작을 직접 테스트하세요. 이는 언어 간 생성 방식에 의도적으로 적용된 변경 사항이며 버그가 아닙니다.

다만 이 새로운 기능은 아직 세부 조정 중이며, 항상 활성화되는 대신 토글로 설정할 수 있는 방법을 검토하고 있습니다. 이는 아직 연구 프로젝트 단계이므로, 현재로서는 일정이나 추가 정보가 없습니다.

모델 변형

Eleven v4는 두 가지 변형 모델로 제공되므로, 사용 사례에 맞춰 품질과 속도의 균형을 선택할 수 있습니다.

• Eleven v4 (eleven_v4) — 최고 품질의 모델로, 콘텐츠 제작, 오디오북, 캐릭터 보이스오버 및 품질이 최우선인 모든 사용 사례에 이상적입니다.
• Eleven v4 Turbo (eleven_v4_turbo) — 인상적으로 낮은 지연 시간을 유지하면서도 매우 높은 품질을 제공하며, 대화형 에이전트 및 인터랙티브 음성 경험 같은 실시간 사용 사례를 위해 특별히 설계되었습니다.

두 변형 모델 모두 Stability와 Similarity라는 두 가지 음성 설정을 사용합니다.

Stability는 생성 결과 전반에서 전달 방식이 얼마나 일관되게 유지되는지 제어합니다. 낮은 값에서는 더 표현력 있고 다양한 전달이 가능하며, 높은 값에서는 성능이 고정된 기준선에 더 가깝게 유지됩니다.

Similarity는 출력이 참조 음성을 얼마나 밀접하게 따르는지 제어합니다. 높은 값은 참조 음성을 더 엄격하게 따르도록 하지만, 자연스러움이 일부 떨어질 수 있습니다.

Eleven v4에서 Professional Voice Clone으로 음성을 생성하면 추가로 Clone Strength 슬라이더가 표시됩니다. Clone Strength는 출력이 복제 음성의 학습 녹음을 얼마나 밀접하게 따르는지 제어합니다. 낮은 값에서는 음성이 약간 부드러워지고 전달 방식의 유연성이 커지며, 원본 음성과 비슷하게 들리면서도 전반적으로 더 좋게 들리는 경우가 많습니다. 높은 값에서는 부드럽게 처리되는 정도가 줄어들어 출력이 학습 녹음에 더 가깝게 유지되고, 원본 음성의 전달 방식과 연기를 더 밀접하게 모방합니다. 높은 값은 뚜렷한 특징이나 독특한 억양을 지닌 음성에 특히 유용할 수 있습니다. 대부분의 음성에서는 0%부터 시작하세요.

Eleven v4에서는 Style 및 Speed 슬라이더를 사용할 수 없으며, SSML도 지원되지 않습니다.

오디오 태그(예: [whispering], [shouting], [laughing])를 사용하면 전달 방식을 세밀하게 제어할 수 있으며, Eleven v4는 이전 모델보다 훨씬 섬세한 수준으로 이를 처리합니다. 아직 완벽하지는 않으며, 모델이 태그 지시를 얼마나 안정적으로 따르는지 계속 개선하고 있습니다. 이는 지속적으로 투자 중인 핵심 영역이며 앞으로도 계속 개선될 것입니다.

쇼케이스

음성 복제 정확도

각 예시는 Voice Library 미리보기로 시작합니다. 이후 일부 텍스트를 사용해 해당 음성의 Instant Voice Clone으로 Eleven v3와 Eleven v4에서 각각 생성했습니다.

완벽한 비교는 아닙니다. Eleven v4는 Professional Voice Clone도 지원하며, 이를 사용하면 일치도를 더욱 높일 수 있습니다. 다만 더 공정한 비교를 위해 Eleven v3와 Eleven v4 모두 Instant Voice Clone을 사용했습니다.

이 예시는 모델이 원본 음성의 특성을 얼마나 많이 포착하는지 보여 줍니다. 여기에는 EQ, 품질, 음량뿐 아니라 파열음, 거친 치찰음, 음량 변동 등 오디오의 기타 작은 세부 사항과 불완전함도 포함된다는 점을 알아두는 것이 중요합니다.

미리보기를 들은 다음 Eleven v3, 그다음 Eleven v4를 들어 보세요.

음성 NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

음성 HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

음성 연기

이는 Eleven v4로 생성한 결과입니다. 텍스트의 오디오 태그가 전달 방식을 지시합니다.

음성 EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

음성 t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

오디오북

이는 Eleven v4 내레이션입니다. 태그가 장면의 속도와 분위기를 설정합니다.

음성 KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

모델은 계속 발전합니다

Eleven v4는 활발하고 지속적인 개발이 진행 중입니다. 출시 후에도 모델을 계속 학습시키고 개선하기 때문에, 품질이 향상됨에 따라 동작 방식이 시간이 지나면서 달라질 수 있습니다. 모델이 발전함에 따라 사용 사례를 주기적으로 다시 테스트해 보시길 권장하며, 의미 있는 업데이트는 출시되는 대로 공유하겠습니다.

FAQ