ElevenLabs pozyskuje 2 mln USD i ogłasza platformę AI do syntezy mowy, która zmieni sposób opowiadania historii dźwiękiem

• ElevenLabs uruchamia platformę Beta, która pozwala twórcom i wydawcom udźwiękawiać długie treści
• Rundzie finansowania pre-seed przewodziło Credo Ventures, a udział wzięły też Concept Ventures i indywidualni inwestorzy
• Kapitał sfinansuje badania i rozwój dubbingu AI, którego premiera jest planowana na później w tym roku

23.01.2023, Londyn, Wielka Brytania | ElevenLabs, startup rozwijający technologię głosową AI, tworzy narzędzia do realistycznej syntezy mowy. Jego długoterminowym celem jest natychmiastowe konwertowanie nagrań mowy między językami. Dziś firma ogłosiła uruchomienie platformy Beta po pozyskaniu 2 mln USD w rundzie pre-seed, której przewodziło Credo Ventures, przy udziale Concept Ventures i innych indywidualnych inwestorów.

Platforma firmy pozwala twórcom i wydawcom udźwiękawiać długie treści i rozwijać je w formacie audio. Jej funkcje opierają się na opracowanym wewnętrznie modelu głębokiego uczenia do syntezy mowy, który realistycznie oddaje ludzką intonację i modulację oraz dostosowuje sposób mówienia do kontekstu. ElevenLabs oferuje też zestaw narzędzi do Voice Cloning i projektowania syntetycznych głosów, dając użytkownikom nowe możliwości twórcze. Firma współpracuje obecnie z wybranymi wydawcami nad dedykowanym środowiskiem do edycji nałożonego głosu, które trafi na platformę na początku lutego. ElevenLabs chce zostać pierwszym narratorem AI oferującym jakość potrzebną do udźwiękawiania na dużą skalę wiadomości i audiobooków.

Przełomy wymagają innowacji, dlatego ElevenLabs jest przede wszystkim firmą badawczą. Dotychczasowe badania skupiały się głównie na tworzeniu nowych modeli zamiany tekstu na mowę, które dzięki wysokiej kompresji i rozumieniu kontekstu ultra realistycznie odtwarzają ludzką mowę. Firma stworzyła też nowy model Voice Cloning, który osiąga wysokie podobieństwo wygenerowanego głosu bez treningu (bez fine-tuningu) na próbkach trwających zaledwie 5 sekund — czego wcześniej nie udało się osiągnąć. Deweloperzy mają dostęp do wszystkich tych funkcji przez API.

Te badania napędzają obecne funkcje platformy, ale też przybliżają realizację głównego celu firmy: natychmiastowej konwersji nagrań mowy między językami. Narzędzie AI Dubbing, którego premiera jest planowana na później w tym roku, pozwoli użytkownikom automatycznie zmieniać język dowolnego audio lub wideo, zachowując głos oryginalnego mówcy. ElevenLabs początkowo chce pozyskać klientów z sektora edukacji, a w dłuższej perspektywie umożliwić dostęp do wielojęzycznego audio na żądanie w streamingu, audiobookach, grach, filmach, a nawet rozmowach w czasie rzeczywistym.

Narzędzia firmy do syntezy mowy i dubbingu uzupełniają się, a ich moment jest idealny: oba pomagają docierać z audio i wideo do szerszej publiczności, w czasie gdy rynek audio dynamicznie rośnie. Pierwsza grupa testerów, w tym twórcy YouTube, wydawcy i deweloperzy, już codziennie używa platformy do udźwiękawiania filmów, opowieści i postaci. Firma spodziewa się, że zastosowania generowanej mowy będą się tylko rozszerzać. Wydawcy wiadomości już zauważyli, że rozwijanie obecności w audio to świetny sposób na zaangażowanie i utrzymanie subskrybentów. Zatrudnianie aktorów głosowych jest jednak kosztowne, podobnie jak nagrywanie tekstów przez reporterów. Autorzy książek i newsletterów, a nawet deweloperzy gier, mierzą się z podobnymi problemami: pierwsi coraz częściej sami czytają swoje teksty, a drudzy muszą ocenić, czy dana postać uzasadnia koszty nagrania. Osoby korzystające z obecnego oprogramowania do zamiany tekstu na mowę oszczędzają, ale kosztem jakości. ElevenLabs twierdzi, że kompromisy nie są już konieczne, i przygotowuje dla twórców oraz wydawców najbardziej zaawansowane i wszechstronne narzędzia AI do opowiadania historii.

„Platforma, którą dziś uruchamiamy, zamienia tekst w wysokiej jakości audio. Chcemy, by ludzie mogli cieszyć się ulubioną książką lub newsletterem, dając głos wszystkim autorom, twórcom i deweloperom, których nie było na to stać” — mówi współzałożyciel Mati Staniszewski. „Naszym głównym celem jest umożliwienie ludziom korzystania z treści, które uznają za ważne i interesujące, niezależnie od języka, którym mówią” — dodaje drugi współzałożyciel, Piotr Dabkowski.

W Credo Ventures chcemy współpracować z inteligentnymi i ambitnymi założycielami z regionu Europy Środkowo-Wschodniej. Już na pierwszym spotkaniu zobaczyliśmy w oczach Matiego i Piotra pasję oraz determinację. Kilka miesięcy później budują ośrodek badawczy technologii mowy na poziomie OpenAI, który mierzy się z największymi wyzwaniami sztucznego audio. Ich syntetyczne głosy są już nie do odróżnienia od prawdziwych. Ten przełom nie tylko znacznie obniżył barierę tworzenia treści o niespotykanej dotąd jakości i wierności, lecz wkrótce pozwoli też twórcom radykalnie poszerzać grono odbiorców dzięki wielu językom. — mówi Maciek Gnutek, General Partner w Credo Ventures.

Choć audio jest powszechne zarówno w rozrywce, jak i biznesie, ostatnie postępy badań w dużej mierze je pomijały. Cieszymy się, że możemy wspierać Matiego & Piotra w tej złotej erze generatywnej AI. Wierzymy, że to właśnie zespół ElevenLabs udostępni tę technologię wszystkim — głos po głosie — mówi Oliver Kicks, Principal w Concept Ventures.

O ElevenLabs:
ElevenLabs to firma badawcza tworząca oprogramowanie do syntezy głosu AI dla twórców i wydawców. Narzędzia firmy generują wyjątkowo realistyczną mowę i mogą dostosowywać intonację oraz modulację do kontekstu lub poleceń użytkownika. Platforma firmy oferuje jakość i wszechstronność potrzebne, by w jednym miejscu udźwiękawiać wiadomości, newslettery, książki i filmy. Kluczowe funkcje to: generowanie mowy z tekstu, Voice Cloning, Voice Design oraz wkrótce workflow do edycji narracji w projektach. ElevenLabs zostało założone w 2022 roku przez Piotra, byłego inżyniera uczenia maszynowego w Google, oraz Matiego, byłego stratega wdrożeń w Palantir. Długoterminowym celem firmy jest zapewnienie powszechnego dostępu do treści mówionych w każdym języku i głosie.

Finansowanie venture capital zapewniły Credo Ventures i Concept Ventures. Wśród indywidualnych inwestorów są Peter Czaban, Tytus Cytowski, Talfan Evans, dr Fatima Godall, Tomasz Karwatka, Piotr Karwatka, Akhil Paul, Bartek Pucek, Marta Pyrzyk, Carles Reina, Parin Shah, Charlie Songhurst i Harry Songhurst.

Kontakt
press@elevenlabs.io