Eleven v4

Eleven v4 to nasz najnowszy i najbardziej zaawansowany model Text to Speech oraz pierwszy z nowej generacji modeli. W porównaniu z Eleven v3 poprawia jakość generowanego audio, zgodność głosu, spójność, emocje, sposób wypowiedzi, obsługę tagów audio i liczbę obsługiwanych języków.

Ogólnie Eleven v4 to wyraźny krok naprzód względem Eleven v3 i zapewnia lepsze wyniki niemal w każdym przypadku. Zdecydowanie zalecamy przejście na v4 i przetestowanie go z własnymi głosami oraz treściami, aby samemu zobaczyć różnicę. Choć w kilku nietypowych przypadkach lepiej sprawdzi się inne rozwiązanie, dla większości użytkowników v4 będzie lepszym wyborem.

Więcej o tagach, interpunkcji i promptowaniu dialogów znajdziesz w Promptowanie Eleven v4.

Klonowanie głosu

Dokładność klonowania głosu robi duży krok naprzód w Eleven v4. Sklonowane głosy wierniej niż w jakimkolwiek wcześniejszym modelu oddają cechy głosu źródłowego — barwę, rytm i sposób wypowiedzi.

Instant Voice Clones (IVC) są w Eleven v4 dokładniejsze niż kiedykolwiek. Wierniej oddają kluczowe cechy głosu źródłowego, dzięki czemu łatwiej szybko stworzyć przekonujący klon z krótkiej próbki audio.

Professional Voice Clones (PVC) są w pełni obsługiwane w Eleven v4. Korzystają z tych samych ulepszeń dokładności głosu, oferując wierniejsze odwzorowanie głosu źródłowego w workflow wymagających najwyższej spójności i kontroli.

Ze względu na ten duży wzrost dokładności Eleven v4 może brzmieć znacząco inaczej niż Eleven v3. Eleven v3 stworzył podstawę dla Eleven v4, kładąc duży nacisk na sposób wypowiedzi i dokładność, a Eleven v4 rozwija tę podstawę dzięki znacznie lepszemu odwzorowaniu głosu. W efekcie Eleven v4 ma wierniej oddawać głos źródłowy, choć nadal możesz preferować brzmienie głosu w Eleven v3. Dokładność i osobiste preferencje nie zawsze idą w parze, dlatego zalecamy porównać obie wersje na własnych treściach i wybrać najlepszą dla swojego zastosowania.

Ponieważ Eleven v4 wierniej odtwarza cechy głosu źródłowego, w tym akcent, sposób wypowiedzi, głośność i inne charakterystyczne właściwości, jakość nagrania źródłowego ma większe znaczenie niż kiedykolwiek. Wyraźne, czyste audio treningowe pomaga Eleven v4 dokładnie uchwycić głos bez dodawania niechcianych dźwięków czy cech. Szum tła, zniekształcenia i inne problemy z nagraniem mogą wpłynąć na wynik.

Nadal testujemy Eleven v4, by lepiej zrozumieć, jak go najlepiej używać. Jak dotąd wydaje się znacznie lepiej wychwytywać niuanse audio, szczególnie przy dużej ilości danych treningowych, jak w przypadku Professional Voice Clones. Nasze wskazówki dotyczące używania zróżnicowanych danych treningowych mogą się zmienić, gdy będziemy dalej testować kontrolę nad modelem przy użyciu bardziej wszechstronnego zbioru danych. Na razie zalecamy trzymać się jednego stylu mówienia w audio treningowym, który Eleven v4 powinien uchwycić lepiej niż wcześniejsze modele.

Obsługa natywnego akcentu

To jedna z największych zmian w Eleven v4 względem starszych modeli i warto ją dobrze zrozumieć.

Gdy język generowanego audio jest taki sam jak język głosu referencyjnego, oryginalny akcent jest zachowany dokładnie tak jak wcześniej.

Gdy język generowanego audio różni się od języka głosu referencyjnego, Eleven v4 tworzy płynną, naturalnie brzmiącą mowę w języku docelowym — zamiast przenosić akcent głosu referencyjnego z jego oryginalnego języka.

W praktyce: jeśli sklonujesz głos koreańskiego mówcy i wygenerujesz angielski, Eleven v4 stworzy naturalny, płynny angielski zamiast angielskiego z koreańskim akcentem. Dzięki temu każdy głos można używać we wszystkich obsługiwanych językach, co jest szczególnie przydatne w dubbingu, treściach wielojęzycznych i agentach głosowych obsługujących użytkowników w różnych językach jednym głosem.

Jeśli twój workflow wymaga, by głos zachowywał swój natywny akcent w innych językach, przetestuj to zachowanie bezpośrednio w Eleven v4 przed migracją — to celowa zmiana w działaniu generowania międzyjęzykowego, a nie błąd.

Ta nowa funkcja jest jednak nadal dopracowywana i badamy możliwość udostępnienia jej jako przełącznika zamiast stałego działania. To wciąż projekt badawczy, więc na ten moment nie mamy harmonogramu ani dodatkowych informacji.

Warianty modelu

Eleven v4 występuje w dwóch wariantach, więc możesz wybrać właściwy balans jakości i szybkości dla swojego zastosowania:

• Eleven v4 (eleven_v4) — nasz model o najwyższej jakości, idealny do tworzenia treści, audiobooków, głosów postaci i wszędzie tam, gdzie najważniejsza jest jakość.
• Eleven v4 Turbo (eleven_v4_turbo) — niezwykle wysoka jakość przy imponująco niskich opóźnieniach, stworzony do zastosowań w czasie rzeczywistym, takich jak agenci konwersacyjni i interaktywne doświadczenia głosowe.

Oba warianty używają dwóch ustawień głosu: Stability i Similarity.

Stability określa, jak spójny pozostaje sposób wypowiedzi między generacjami. Niższe wartości pozwalają na bardziej ekspresyjną i zróżnicowaną wypowiedź, a wyższe utrzymują ją bliżej stałego poziomu bazowego.

Similarity określa, jak ściśle wynik trzyma się głosu referencyjnego. Wyższe wartości wymuszają większą zgodność z referencją, co może odbywać się kosztem części naturalności.

Gdy generujesz mowę z Professional Voice Clone w Eleven v4, pojawia się dodatkowy suwak Clone Strength. Clone Strength określa, jak ściśle wynik podąża za nagraniami treningowymi klonu. Przy niższych wartościach głos jest lekko wygładzony, a sposób wypowiedzi zyskuje większą elastyczność, co często brzmi lepiej, nadal zachowując brzmienie oryginalnego głosu. Przy wyższych wartościach wynik jest bliższy nagraniom treningowym i mniej wygładzony, dokładniej naśladując sposób wypowiedzi oraz wykonanie oryginalnego głosu. Wyższe wartości mogą być szczególnie przydatne dla głosów o charakterystycznych cechach lub unikalnych akcentach. Dla większości głosów zacznij od 0%.

Suwaki Style i Speed nie są dostępne w Eleven v4, a SSML nie jest obsługiwany.

Tagi audio (np. [whispering], [shouting], [laughing]) pozwalają precyzyjnie sterować sposobem wypowiedzi, a Eleven v4 obsługuje je z większym niuansem niż wcześniejsze modele. Nie są jeszcze idealne i stale ulepszamy, jak niezawodnie model wykonuje instrukcje z tagów — to obszar, w który aktywnie inwestujemy i który będzie dalej się poprawiał.

Przykłady

Dokładność klonowania głosu

Każdy przykład zaczyna się od podglądu z Voice Library. Następnie wzięliśmy tekst i wygenerowaliśmy go za pomocą Instant Voice Clone tego głosu zarówno w Eleven v3, jak i Eleven v4.

To nie jest idealne porównanie. Eleven v4 działa też z Professional Voice Clones, które mogą jeszcze lepiej dopasować głos. Aby porównanie było bardziej uczciwe, użyliśmy jednak Instant Voice Clones zarówno w Eleven v3, jak i Eleven v4.

Te przykłady pokazują, jak wiele z oryginalnego głosu wychwytuje model. Ważne, że obejmuje to także EQ, jakość, głośność oraz inne drobne szczegóły i niedoskonałości audio, takie jak głoski wybuchowe, ostre sybilanty i wahania głośności.

Posłuchaj podglądu, potem Eleven v3, a następnie Eleven v4.

Głos NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Głos HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Aktorstwo głosowe

To generacje Eleven v4. Tagi audio w tekście kierują sposobem wypowiedzi.

Głos EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Głos t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Audiobook

To narracja Eleven v4. Tagi określają tempo i ton sceny.

Głos KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Model będzie się dalej rozwijać

Eleven v4 jest stale aktywnie rozwijany. W miarę dalszego trenowania i ulepszania modelu po premierze jego zachowanie może z czasem się zmieniać wraz ze wzrostem jakości. Zalecamy okresowo ponownie testować swoje zastosowanie w miarę rozwoju modelu, a o istotnych aktualizacjach będziemy informować na bieżąco.

FAQ