Przedstawiamy Voice Changer

Voice Changer pierwotnie nazywał się speech-to-speech. W kontekście agentów głosowych AI, „speech-to-speech” odnosi się też do połączonych architektur, w których jeden model bezpośrednio obsługuje wejście i wyjście audio. ElevenAgents korzysta na swojej platformie z zaawansowanej architektury kaskadowej. Dowiedz się więcej: Modele kaskadowe a połączone.

Voice Changer

Dodaliśmy Voice Changer do Speech Synthesis. Voice Changer to narzędzie do konwersji głosu, które bierze nagranie jednego głosu i sprawia, że brzmi ono tak, jakby mówił je ktoś inny — przy zachowaniu oryginalnej interpretacji. Oznacza to, że emocje, timing, tempo i wymowa z nagrania zostają przeniesione do głosu wyjściowego.

Daje ci to poziom kontroli, którego same prompty text-to-speech nie zawsze zapewniają. Możesz używać go na dwa główne sposoby.

Wydobądź z głosu więcej emocji. Nie każdy głos równie dobrze reaguje na wskazówki emocjonalne w promptach text-to-speech. Voice Changer pozwala nagrać lub przesłać bardzo ekspresyjną wypowiedź i odtworzyć jej zakres emocji w innym głosie. Jeśli potrzebujesz, by profesjonalny narrator brzmiał cieplej albo postać z książki dla dzieci była bardziej figlarna, możesz samodzielnie odegrać tę wypowiedź, a Voice Changer przeniesie ją do docelowego głosu.

Dopracuj sposób wypowiedzi. Nasze modele text-to-speech zwykle od razu dobrze radzą sobie z intonacją. Gdy jednak potrzebujesz dokładnej kontroli nad tym, jak brzmi konkretna fraza — gdzie pada akcent, jak wybrzmiewa pauza, jaki jest rytm — Voice Changer pozwala pokazać to własnym głosem, a potem zastosować ten sposób wypowiedzi w dowolnym wybranym głosie. Będzie to jeszcze przydatniejsze, gdy zintegrujemy Voice Changer bezpośrednio ze Studio, ale cel pozostaje ten sam: dać ci precyzyjną kontrolę nad wynikiem.

Oto prezentacja od jednego z członków naszej społeczności:

Badania

Aby przekształcić mowę źródłową w docelową, musimy wyrazić treść mowy źródłowej za pomocą cech mowy docelowej. Dobrym porównaniem jest podmiana twarzy: aplikacje, które biorą dwie twarze i łączą je, umieszczając rysy jednej osoby w odwzorowanej strukturze drugiej.

Polega to na wzięciu obrazu twarzy i odwzorowaniu jej cech. Punkty w przykładzie poniżej robią właśnie to — wyznaczają granice, w których zostałaby wyrenderowana druga twarz.

Kluczem w konwersji głosu jest odtworzenie treści mowy źródłowej za pomocą fonemów mowy docelowej. Wiąże się to jednak z kompromisem, podobnie jak w przykładzie z podmianą twarzy: im więcej punktów używasz do odwzorowania cech jednej twarzy, tym więcej ograniczeń nakładasz na twarz umieszczaną w tej strukturze. Mniej punktów oznacza mniej ograniczeń.

Tak samo jest z konwersją głosu. Im większy priorytet nadajemy mowie docelowej, tym większe ryzyko, że rozminie się ona z mową źródłową. Jeśli jednak nadamy jej zbyt mały priorytet, możemy stracić wiele z tego, co nadaje tej mowie charakter. Na przykład gdybyśmy chcieli odtworzyć nagranie osoby krzyczącej ze złości szeptliwym głosem, pojawiłby się problem. Jeśli zbyt mocno faworyzujemy emocje mowy źródłowej, tracimy wrażenie, że mówi szeptliwy głos. Jeśli za bardzo podkreślimy szeptliwy sposób mówienia, stracimy ładunek emocjonalny mowy źródłowej.

Produkt i najnowsze aktualizacje

Zmiany w gotowych głosach

Wprowadzamy zmiany w domyślnych głosach dostępnych w Speech Synthesis. Wycofamy kilka głosów i zastąpimy je nowymi, a w nadchodzących tygodniach planujemy dodać ponad 20 kolejnych.

Zaczniemy też wyświetlać w interfejsie informacje o przewidywanym czasie dostępności każdego głosu. W grudniu odświeżymy funkcje udostępniania głosów i rekompensaty za ich użycie, aby zwiększyć ich różnorodność. Więcej szczegółów wkrótce.

Eleven Turbo v2 i format uLaw 8 kHz

Turbo v2 to efekt miesięcy pracy badawczej naszego zespołu. Zaprojektowaliśmy go do interakcji w czasie rzeczywistym, ale sprawdzi się w każdym zastosowaniu. Obsługuje też standardowy format (m)uLaw 8 kHz dla systemów IVR.

Normalizacja i metadane w Studio

Studio obsługuje teraz branżowe wytyczne przesyłania audiobooków, w tym regulację wzmocnienia i kompresję dynamiki. Możesz też osadzać metadane — ISBN, autora i tytuł — bezpośrednio w projekcie Studio.

Słownik wymowy

To jedna z najczęściej wyczekiwanych funkcji. W zeszłym miesiącu dodaliśmy SSML — obsługę tagów do określania wymowy za pomocą słowników IPA i CMU w naszych modelach angielskich. Teraz udostępniliśmy obsługę słownika wymowy w interfejsie Studio, dzięki czemu możesz przesłać plik określający wymowę za pomocą IPA, CMU lub zamienników słów (aliasów). Pliki słowników używają otwartego, branżowego formatu plików leksykonu .PLS format pliku leksykonu.

IPA i CMU są obecnie obsługiwane przez Turbo v2 English. Zamienniki słów obsługują wszystkie modele i języki. Pełna dokumentacja jest dostępna tutaj.

Jeśli masz uwagi, napisz do nas na Discordzie!

Wypróbuj Voice Changer

Powiedz to po swojemu i usłysz w zupełnie innym głosie, z pełną kontrolą nad interpretacją. Uchwyć szepty, śmiech, akcenty i subtelne emocje.