Eleven na INTERSPEECH 2022

Jak było

Właśnie wróciliśmy z tegorocznej konferencji INTERSPEECH, która była naszą najlepszą dotąd okazją, by zaprezentować i zebrać opinie o rozwiązaniach, nad którymi pracowaliśmy przez ostatnie miesiące.

Wspaniale było uczyć się od najlepszych w branży, wymieniać z nimi pomysłami i przy okazji budować relacje na przyszłość. Spotkaliśmy zespoły fantastycznych startupów działających w tej samej branży co my, zwłaszcza w obszarach Voice Cloning, syntezy mowy (TTS) i konwersji głosu (VC) — między innymi Supertone i LOVO. Równie chętnie rozmawialiśmy z uznanymi firmami, takimi jak Meta i Google, o pracy za kulisami tworzenia oprogramowania TTS i VC.

Od razu przeszliśmy do rzeczy. Ogrom szczerego entuzjazmu dla naszej pracy bardzo nas ucieszył — wszystko przerosło nasze oczekiwania. Przez kolejne cztery dni rozmawialiśmy o naszych badaniach i postępach w tych trzech obszarach technologii mowy — kluczowych pierwszych krokach na drodze do własnego narzędzia do automatycznego dubbingu, którego wersję 1.0 planujemy wydać na początku przyszłego roku.

Najważniejsze było dla nas udowodnienie, że potrafimy wiernie klonować głosy — zachować ich podobieństwo między źródłowymi danymi głosowymi, na których trenujemy algorytm, a brzmieniem tego samego głosu po syntetycznym wygenerowaniu. Równie ważne było pokazanie, że nasze narzędzia TTS są na dobrej drodze, by stać się częścią platformy oferującej najbardziej ludzką i naturalnie brzmiącą mowę syntetyczną dzięki niezrównanej prozodii i tonalności.

To pierwsze jest oczywiście ważne, ponieważ nowe wypowiedzi muszą być łatwo rozpoznawalne jako wypowiedziane przez konkretną osobę — musimy właściwie zachować tożsamość mówcy. Prozodia i tonalność są ważne, bo ton i tempo przekazują intencję, która przede wszystkim sprawia, że mowa brzmi po ludzku. Świętym Graalem jest tu program, który nie tylko płynnie wymawia słowa, lecz także nadaje wypowiedzi odpowiedni ładunek emocjonalny, tak by brzmiała, jakby rozumiał co mówi.

Demo TTS

Poniżej znajdziesz jedno z dem TTS, którego użyliśmy podczas konferencji. Pierwszy link prowadzi do oryginalnego filmu, a po nim jest nasza próbka z tym samym przekazem wypowiedzianym innym głosem. Pamiętaj, to zamiana tekstu na mowę — nie konwersja głosu. Naszym jedynym wkładem było zapisanie słów z oryginalnego filmu, aby wygenerować słyszaną mowę. Za całą prozodię i intonację odpowiada sam algorytm — bez postprodukcji. Sprawdź, czy rozpoznasz, czyj to głos!

Więcej o technologii Eleven TTS przeczytasz w naszym następnym wpisie poświęconym generowaniu mowy z tekstu.

Jeśli podoba ci się nasza technologia i chcesz zostać naszym beta-testerem, możesz kliknąć tutaj, aby się zapisać.

Oryginał:

ElevenLabs Voice Cloning TTS:

Treść ponad formę

W miesiącach przed konferencją skupialiśmy się niemal wyłącznie na tworzeniu pokazowych próbek naszej technologii i prezentowaniu własnych badań. INTERSPEECH to przecież konferencja naukowa, więc zależało nam, by treść była ważniejsza niż forma, zwłaszcza na tak ukierunkowanym wydarzeniu. Gdy nadszedł dzień konferencji, żartowaliśmy jednak, że tak duży nacisk na technologię mógł sprawić, że nasze działania brandingowe wydały się zbyt minimalistyczne. Szybko odetchnęliśmy z ulgą — a może nawet poczuliśmy się usprawiedliwieni — gdy zobaczyliśmy, że inni, w tym najwięksi gracze, również postawili na skromniejsze stoiska.

Do przyszłego roku

Nasza podróż do Korei była dla Eleven wielkim sukcesem i solidną dawką motywacji, by działać jeszcze intensywniej. Już teraz z ekscytacją myślimy o postępach, jakie możemy poczynić w nadchodzącym roku — zarówno w badaniach, jak i w sposobach ich prezentowania. Mamy nadzieję, że do tego czasu nasze gotowe do produkcji narzędzia do dubbingu będą już gotowe, a my będziemy używać głosów ludzi, by mogli mówić w językach, których nie znają.