ElevenLabs wprowadza na rynek nowe produkty Voice AI i pozyskuje 80 mln USD w ramach serii B

• ElevenLabs pozyskało 80 mln USD w rundzie Series B współprowadzonej przez Andreessen Horowitz, Nat Friedman, Daniel Gross, z udziałem Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital oraz Credo Ventures, aby umocnić swoją pozycję lidera głosowej AI.
• Firma prezentuje dziś także nowe produkty, w tym Dubbing Studio, Voice Library Marketplace, wczesną wersję aplikacji Reader na urządzenia mobilne oraz nowe modele o większej szybkości i obsłudze większej liczby języków.
• Od premiery technologia ElevenLabs poprawia dostępność treści na całym świecie w sektorach takich jak gospodarka twórców, wydawnictwa, Conversational AI, rozrywka, edukacja i dostępność. Korzystają z niej miliony osób, co dało firmie status jednorożca.

22 stycznia / globalnie - ElevenLabs, firma badawcza zajmująca się technologią głosową, pozyskała 80 mln USD w rundzie Series B współprowadzonej przez Andreessen Horowitz, Nat Friedman, Daniel Gross, z udziałem Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital oraz Credo Ventures, aby umocnić swoją pozycję światowego lidera w badaniach nad głosową AI i tworzeniu produktów.

Od publicznej premiery ElevenLabs wyznacza standardy w naturalnej syntezie mowy, pozwalając użytkownikom tworzyć i projektować głosy AI w wielu językach i akcentach, zdolne przekazywać szeroką gamę emocji i intonacji. Od premiery użytkownicy ElevenLabs wygenerowali ponad 100 lat audio, a firma urosła z 5 do 40 pracowników. Dziś z technologii ElevenLabs korzystają pracownicy 41% firm z listy Fortune 500. 

Technologia ElevenLabs znalazła zastosowanie w wielu branżach. Pomaga twórcom ulepszać odbiór treści dzięki nałożonym głosom i dubbingowi AI, poszerza dostęp do edukacji oraz oferuje nowe rozwiązania w wydawaniu audiobooków, rozrywce i zastosowaniach osobistych, w tym w poprawie dostępności. Środki te posłużą do dalszego rozwoju produktów firmy przy bezpiecznym wdrażaniu technologii AI.

Oprócz dzisiejszego ogłoszenia rundy Series B ElevenLabs przedstawia także kilka nowych produktów, które będą udostępniane w najbliższych tygodniach:

• Nowy workflow Dubbing Studio pozwala użytkownikom dubbingować całe filmy oraz tworzyć i edytować transkrypcje, tłumaczenia i znaczniki czasowe, dając większą kontrolę nad produkcją treści. Funkcje te uzupełniają istniejące narzędzie AI dubbing, które automatyzuje kompleksową lokalizację wideo w 29 językach.
• Marketplace Voice Library zapewni bezpieczną platformę, na której użytkownicy będą mogli zarabiać na wersjach AI własnych głosów. Użytkownicy mogą stworzyć profesjonalną replikę głosu AI, zweryfikować ją i udostępnić przez Voice Library. Gdy inni korzystają z tych zweryfikowanych głosów, ich pierwotni twórcy otrzymują wynagrodzenie. Użytkownicy zawsze zachowują kontrolę nad dostępnością głosu i warunkami wynagrodzenia. Marketplace już przynosi dochody niewielkiej grupie użytkowników alfa.
• Wczesna wersja aplikacji mobilnej Reader, która natychmiast zamienia tekst i adresy URL w audio, ułatwiając dostęp do treści w innej formie poza domem. W ramach oferty na start aplikacja będzie bezpłatna przez pierwsze trzy miesiące, a użytkownicy będą mogli zapisać się na listę oczekujących na wcześniejszy dostęp.

W 2023 roku ElevenLabs rozszerzyło też swoją obecność w wielu sektorach, w tym wydawnictwach, gamingu, mediach i rozwiązaniach konwersacyjnych, oraz nawiązało partnerstwa B2B z dużymi grupami medialnymi, w tym:

• Wydawnictwa: Storytel, The Washington Post, Rheinische Post, Curio
• Conversational AI: FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Media i rozrywka: Wondershare Filmora, Futuri Media, TheSoul Publishing
• Gaming: Paradox Interactive, NetEase, Inworld AI

Te ostatnie premiery i partnerstwa następują po okresie, w którym ElevenLabs stale rozwijało zestaw narzędzi opartych na własnych badaniach. Wśród premier znalazły się: Speech Synthesis do realistycznej zamiany tekstu na mowę, a także model Turbo zoptymalizowany pod kątem opóźnień; Voice Design i Voice Cloning do tworzenia spersonalizowanych głosów; Speech to Speech do przekształcania jednego głosu w drugi. Firma udostępniła też wiodące na rynku narzędzie AI Dubbing, które automatycznie tłumaczy audio i wideo na 29 języków przy zachowaniu głosu i emocji oryginalnego mówcy. Firma wkrótce rozszerzy też modele Turbo i Speech to Speech, obecnie dostępne po angielsku, o kolejne języki. 

Bazując na badaniach stojących za tymi funkcjami, ElevenLabs pracowało też nad zaawansowanymi narzędziami do bardziej złożonych workflow, takimi jak Studio dla wydawnictw oraz Dubbing Studio do lokalizacji wideo. Studio usprawnia edycję, organizację, nawigację i tworzenie długich treści dla wydawców, a Dubbing Studio pomaga przygotować treści dla odbiorców na całym świecie, dając praktyczną kontrolę nad transkrypcją, tłumaczeniem i czasem sekwencji.

Firma stworzyła też produkty dla społeczności, takie jak Voice Library – przestrzeń do udostępniania głosów generowanych przez AI. Wcześniej Voice Library pozwalało udostępniać tylko sztuczne głosy stworzone narzędziem Voice Design, a teraz użytkownicy mogą również udostępniać własne zweryfikowane repliki głosów stworzone z użyciem Professional Voice Cloning w ramach nowo wprowadzonego Marketplace Voice Library i zarabiać, gdy inni z nich korzystają. Aby zapewnić bezpieczeństwo i wiarygodność marketplace'u, ElevenLabs wykorzystuje technologię Professional Voice Cloning do tworzenia wiernych replik głosów. Przed udostępnieniem głosu użytkownicy muszą przejść weryfikację Voice Captcha, odczytując podany tekst w określonym czasie, aby potwierdzić zgodność głosu z próbkami treningowymi. Ten proces, wraz z moderacją i ręcznym zatwierdzaniem przez zespół ElevenLabs, gwarantuje, że udostępniane i monetyzowane są autentyczne głosy zweryfikowane przez użytkowników, tworząc bezpieczniejsze i bardziej godne zaufania środowisko.

Jednym z głównych priorytetów ElevenLabs jest bezpieczny i odpowiedzialny rozwój AI, ze szczególnym naciskiem na wykrywanie, by wszystkie treści wygenerowane przez AI można było jasno rozpoznać. W zeszłym roku firma uruchomiła AI Speech Classifier – narzędzie, które pozwala sprawdzić, czy próbka audio zawiera treści wygenerowane przez ElevenLabs. W tym roku firma będzie rozwijać możliwości Classifiera, aby obejmował więcej modeli głosowej AI, a także współpracować z innymi platformami dystrybucyjnymi przy szerszym wdrożeniu. ElevenLabs aktywnie rozwija dodatkowe zabezpieczenia, by zwiększać bezpieczeństwo w przestrzeni publicznej.

Dzięki inwestycji Series B ElevenLabs zamierza umocnić swoją pozycję światowego lidera w badaniach nad głosową AI i tworzeniu produktów. Kapitał zostanie przeznaczony na rozwój badań, rozbudowę infrastruktury, tworzenie produktów dla konkretnych branż oraz wzmacnianie zabezpieczeń, aby technologia AI rozwijała się odpowiedzialnie i etycznie.

Piotr Dąbkowski, CTO ElevenLabs, dodaje:

„Zaangażowanie naszego zespołu już wywarło trwały wpływ na głosową AI. To nowe finansowanie pozwala nam podejmować jeszcze większe wyzwania i skupić się na utrzymaniu przewagi w badaniach i rozwoju produktów.”

Mati Staniszewski podsumowuje:

„Nasza ambicja pozostaje taka sama – zmienić sposób, w jaki korzystamy z treści, przełamując bariery językowe i komunikacyjne. Tworzymy najnowocześniejszą technologię, która udostępnia treści w różnych językach – i głosach – aby każdy mógł łączyć się z ważnymi dla siebie informacjami i historiami. Dotychczasowe postępy świadczą o zaangażowaniu naszego zespołu i inwestorów. To dopiero początek naszej drogi, ale razem pomagamy kształtować przyszłość dostępności i komunikacji.”