Eleven v4

Eleven v4 to nasz najnowszy i najbardziej zaawansowany model Text to Speech oraz pierwszy z nowej generacji modeli. W porównaniu z Eleven v3 poprawia jakość wyników, wierność głosu, spójność, emocje, sposób wypowiedzi, tagi audio i obsługę języków.

Ogólnie Eleven v4 to wyraźny krok naprzód względem Eleven v3 i zapewnia lepsze wyniki w niemal każdym przypadku. Zdecydowanie zalecamy przejście na v4 i przetestowanie go z własnymi głosami oraz treściami, by samemu zobaczyć różnicę. Kilka rzadkich przypadków może wymagać innego rozwiązania, ale dla większości użytkowników v4 będzie lepszym wyborem.

Informacje o tagach, interpunkcji i promptowaniu dialogów znajdziesz w artykule Promptowanie Eleven v4.

Klonowanie głosu

Wierność klonowania głosu znacząco wzrasta w Eleven v4. Sklonowane głosy wierniej niż w jakimkolwiek wcześniejszym modelu oddają cechy głosu źródłowego — barwę, rytm i sposób wypowiedzi.

Instant Voice Clones (IVC) są w Eleven v4 dokładniejsze niż kiedykolwiek. Lepiej oddają kluczowe cechy głosu źródłowego, dzięki czemu łatwiej szybko stworzyć przekonujący klon na podstawie krótkiej próbki audio.

Professional Voice Clones (PVC) są w pełni obsługiwane przez Eleven v4. Korzystają z tych samych ulepszeń wierności głosu i zapewniają dokładniejsze odwzorowanie głosu źródłowego w workflow wymagających najwyższej spójności i kontroli.

Ze względu na ten duży skok wierności Eleven v4 może brzmieć znacząco inaczej niż Eleven v3. Eleven v3 położył podwaliny pod Eleven v4, kładąc duży nacisk na sposób wypowiedzi i wierność, a Eleven v4 rozwija te podstawy dzięki znacznie lepszemu odwzorowaniu głosu. W rezultacie Eleven v4 ma wierniej oddawać głos źródłowy, choć możesz nadal preferować brzmienie głosu w Eleven v3. Wierność i osobiste preferencje nie zawsze idą w parze, dlatego zalecamy porównać obie wersje na własnych treściach, aby wybrać najlepszą dla swojego zastosowania.

Ponieważ Eleven v4 wierniej odtwarza cechy głosu źródłowego, w tym akcent, sposób wypowiedzi, głośność i inne charakterystyczne właściwości, jakość nagrania źródłowego ma większe znaczenie niż kiedykolwiek. Czyste, wyraźne audio treningowe pomaga Eleven v4 dokładnie uchwycić głos bez dodawania niepożądanych dźwięków ani cech. Szum tła, zniekształcenia lub inne problemy z nagraniem mogą wpłynąć na rezultat.

Nadal eksperymentujemy z Eleven v4, aby lepiej zrozumieć, jak go używać. Dotąd wygląda na to, że znacznie lepiej uchwytuje niuanse audio, zwłaszcza gdy dostępne jest dużo materiału treningowego, jak w przypadku Professional Voice Clones. Nasze wskazówki dotyczące używania zróżnicowanych danych treningowych mogą się zmienić, gdy będziemy dalej testować kontrolowanie modelu za pomocą bardziej wszechstronnego zestawu danych. Na razie zalecamy trzymać się jednego stylu mówienia w audio treningowym, który Eleven v4 powinien uchwycić lepiej niż wcześniejsze modele.

Obsługa naturalnego akcentu

To jedna z największych zmian w Eleven v4 względem wszystkich starszych modeli i warto ją dobrze zrozumieć.

Gdy język generowanego nagrania jest taki sam jak język głosu referencyjnego, oryginalny akcent zostaje zachowany, tak jak wcześniej.

Gdy język generowanego nagrania różni się od języka głosu referencyjnego, Eleven v4 tworzy płynną, naturalnie brzmiącą mowę w języku docelowym — zamiast przenosić akcent głosu referencyjnego z jego oryginalnego języka.

W praktyce: jeśli sklonujesz głos osoby mówiącej po koreańsku i wygenerujesz angielski, Eleven v4 stworzy naturalny, płynny angielski zamiast angielskiego z koreańskim akcentem. Dzięki temu każdy głos można stosować we wszystkich obsługiwanych językach, co jest szczególnie przydatne w dubbingu, treściach wielojęzycznych i agentach głosowych obsługujących użytkowników w różnych językach jednym głosem.

Jeśli twój workflow wymaga, by głos zachowywał swój rodzimy akcent w innych językach, przetestuj to zachowanie bezpośrednio w Eleven v4 przed migracją — to celowa zmiana w sposobie generowania między językami, a nie błąd.

Ta nowa funkcja jest jednak nadal dopracowywana i badamy możliwość udostępnienia jej jako przełącznika zamiast stałego włączenia. To wciąż projekt badawczy, więc obecnie nie mamy harmonogramu ani dalszych informacji na ten temat.

Warianty modelu

Eleven v4 występuje w dwóch wariantach, więc możesz wybrać odpowiedni balans jakości i szybkości dla swojego zastosowania:

• Eleven v4 (eleven_v4) — nasz model o najwyższej jakości, idealny do tworzenia treści, audiobooków, głosów postaci i każdego zastosowania, w którym jakość jest priorytetem.
• Eleven v4 Turbo (eleven_v4_turbo) — niezwykle wysoka jakość przy imponująco niskich opóźnieniach, stworzony do zastosowań w czasie rzeczywistym, takich jak agenci konwersacyjni i interaktywne doświadczenia głosowe.

Oba warianty korzystają z dwóch ustawień głosu: Stability i Similarity.

Stability określa, jak spójny pozostaje sposób wypowiedzi między generacjami. Niższe wartości pozwalają na bardziej ekspresyjną i zróżnicowaną wypowiedź, a wyższe utrzymują wykonanie bliżej stałej bazowej wersji.

Similarity określa, jak ściśle wynik trzyma się głosu referencyjnego. Wyższe wartości wymuszają większą zgodność z referencją, co może odbywać się kosztem naturalności.

Gdy wybierzesz Professional Voice Clone i Eleven v4, ustawienia głosu obejmują dodatkowy suwak Clone Strength. Clone Strength określa, jak ściśle wynik podąża za nagraniami treningowymi klonu. Przy niższych wartościach głos jest lekko wygładzony, a sposób wypowiedzi zyskuje większą elastyczność, co często brzmi lepiej, nadal zachowując charakter oryginalnego głosu. Przy wyższych wartościach wynik pozostaje bliżej nagrań treningowych i jest mniej wygładzony, dokładniej naśladując sposób wypowiedzi oryginalnego głosu. Wyższe wartości mogą być szczególnie przydatne dla głosów o charakterystycznych cechach lub wyjątkowych akcentach. Dla większości głosów zacznij od 0%.

Suwaki Style i Speed nie są dostępne w Eleven v4, a SSML nie jest obsługiwany.

Tagi audio (np. [whispering], [shouting], [laughing]) pozwalają precyzyjnie kierować sposobem wypowiedzi, a Eleven v4 obsługuje je z niuansami niedostępnymi w poprzednich modelach. Nie są jeszcze idealne i nadal rozwijamy oraz ulepszamy niezawodność, z jaką model stosuje instrukcje tagów — to obszar, w który aktywnie inwestujemy i który będzie stale się poprawiał.

Przykłady

Wierność klonowania głosu

Każdy przykład zaczyna się od podglądu z Voice Library. Następnie wzięliśmy tekst i wygenerowaliśmy go za pomocą Instant Voice Clone tego głosu w Eleven v3 i Eleven v4.

To nie jest idealne porównanie. Eleven v4 działa również z Professional Voice Clones, które mogą jeszcze bardziej zwiększyć zgodność. Aby jednak porównanie było bardziej uczciwe, użyliśmy Instant Voice Clones zarówno w Eleven v3, jak i Eleven v4.

Te przykłady pokazują, jak wiele z oryginalnego głosu wychwytuje model. Warto pamiętać, że obejmuje to także EQ, jakość, głośność oraz wszystkie inne drobne szczegóły i niedoskonałości audio, takie jak głoski wybuchowe, ostre syczenie i wahania głośności.

Posłuchaj podglądu, potem Eleven v3, a następnie Eleven v4.

Głos NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Głos HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Aktorstwo głosowe

To nagrania wygenerowane przez Eleven v4. Tagi audio w tekście kierują sposobem wypowiedzi.

Głos EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Głos t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Audiobook

To narracja Eleven v4. Tagi ustawiają tempo i ton sceny.

Głos KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Model będzie stale się rozwijać

Eleven v4 jest aktywnie i stale rozwijany. W miarę dalszego trenowania i ulepszania modelu po premierze jego działanie może z czasem się zmieniać wraz z poprawą jakości. Zalecamy okresowo ponownie testować swoje zastosowanie w miarę rozwoju modelu. Będziemy informować o istotnych aktualizacjach, gdy będą wdrażane.

FAQ