Przejdź do nawigacji
Możliwości

Text to Dialogue

Dowiedz się, jak tworzyć wciągające, naturalnie brzmiące dialogi z ElevenLabs.

Przegląd

Interfejs API ElevenLabs Text to Dialogue tworzy naturalnie brzmiące, ekspresyjne dialogi z tekstu za pomocą Eleven v4 i Eleven v3. Polecamy Eleven v4. Popularne zastosowania to:

  • Tworzenie perfekcyjnych rozmów do gier wideo
  • Tworzenie wciągających dialogów do podcastów i innych treści audio
  • Ożywianie audiobooków dzięki ekspresyjnej narracji

Aby uzyskać oczekiwany efekt, może być potrzebnych kilka generacji. Podczas integracji Text to Dialogue z aplikacją rozważ wygenerowanie kilku wersji i pozwól użytkownikowi wybrać najlepszą.

Aby umieścić rozmowę w scenerii, na przykład rozmowy telefonicznej, kawiarni lub dużej sali, przekaż audio_effects w żądaniu. Te same gotowe filtry, środowiska i dźwięki tła co w efektach audio Text to Speech dotyczą całego dialogu. Efekty dialogu są dostępne tylko przez API.

Posłuchaj przykładu:

Deweloperzy

Dowiedz się, jak zintegrować zamianę tekstu na dialog z aplikacją.

Przewodnik po promptach

Dowiedz się, jak tworzyć ekspresyjne dialogi za pomocą tagów audio.

Dokumentacja API

Pełna dokumentacja API punktu końcowego Text to Dialogue.

Opcje głosów

ElevenLabs oferuje tysiące głosów tworzonych na różne sposoby. Eleven v4 obsługuje ponad 90 języków, a Eleven v3 ponad 70 języków.

Dowiedz się więcej o naszych opcjach głosów.

Prompty

Modele bezpośrednio interpretują kontekst emocjonalny z tekstu wejściowego. Na przykład dodanie opisu, takiego jak „powiedziała podekscytowana”, lub użycie wykrzykników wpłynie na emocje w mowie. Ustawienia głosu, takie jak stabilność i podobieństwo, pomagają kontrolować spójność, a same emocje wynikają z wskazówek w tekście.

Więcej informacji znajdziesz w przewodniku po promptach.

Emocje i sposób wypowiedzi z tagami audio

Ta funkcja jest nadal aktywnie rozwijana, więc wyniki mogą się różnić.

Eleven v4 i Eleven v3 pozwalają używać niejęzykowych zdarzeń audio, aby wpływać na sposób wypowiedzi w dialogu. W tym celu wstaw zdarzenia audio do tekstu wejściowego w nawiasach kwadratowych.

W Text to Dialogue każda kwestia ma własny tekst i głos. Dodaj tagi audio w tekście kwestii, na którą mają wpłynąć. voice_id nadal wybiera głos mówcy dla tej kwestii, a tagi wskazują sposób wypowiedzi.

Na przykład mówca może używać jednego głosu, gdy tekst zaczyna się od [giggling], a kolejny mówca innego głosu, gdy tekst zaczyna się od [whispering]. Przykład API łączący tagi z voice_id znajdziesz w krótkim przewodniku Text to Dialogue.

Tagi audio to instrukcje w języku naturalnym, a nie parametr enum. Umieść instrukcję w nawiasach kwadratowych i wstaw ją w miejscu tekstu, w którym sposób wypowiedzi ma się zmienić. Poniższe przykłady nie wyczerpują tematu; więcej wskazówek o skutecznych tagach znajdziesz w przewodniku po promptach.

Tagi audio występują w kilku formach:

Emocje i sposób wypowiedzi

Na przykład [sad], [laughing] i [whispering]

Zdarzenia audio

Na przykład [leaves rustling], [gentle footsteps] i [applause].

Ogólne wskazówki

Na przykład [football], [wrestling match] i [auctioneer].

Oto kilka przykładów:

"[giggling] That's really funny!"
"[groaning] That was awful."
"Well, [sigh] I'm not sure what to say."

Możesz też używać interpunkcji, aby wskazać przebieg dialogu, na przykład przerwania:

"[cautiously] Hello, is this seat-"
"[jumping in] Free? [cheerfully] Yes it is."

Wielokropki mogą wskazywać niedokończone zdania:

"[indecisive] Hi, can I get uhhh..."
"[quizzically] The usual?"
"[elated] Yes! [laughs] I'm so glad you knew!"

Domyślny format odpowiedzi to mp3, ale dostępne są też inne formaty, takie jak pcm i ulaw.

  • MP3
    • Częstotliwości próbkowania: 22,05 kHz–44,1 kHz
    • Przepływności: 32 kb/s–192 kb/s
    • 22,05 kHz @ 32 kb/s
    • 44,1 kHz @ 32 kb/s, 64 kb/s, 96 kb/s, 128 kb/s, 192 kb/s
  • PCM (S16LE)
    • Częstotliwości próbkowania: 16 kHz–44,1 kHz
    • Przepływności: 8 kHz, 16 kHz, 22,05 kHz, 24 kHz, 44,1 kHz, 48 kHz
    • Głębia 16 bitów
  • μ-law
    • Częstotliwość próbkowania 8 kHz
    • Zoptymalizowany pod kątem aplikacji telefonicznych
  • A-law
    • Częstotliwość próbkowania 8 kHz
    • Zoptymalizowany pod kątem aplikacji telefonicznych
  • Opus
    • Częstotliwość próbkowania: 48 kHz
    • Przepływności: 32 kb/s–192 kb/s

Opcje audio wyższej jakości są dostępne tylko w płatnych planach — szczegóły znajdziesz na stronie cen.

Obsługiwane języki

Eleven v4 obsługuje ponad 90 języków. Eleven v3 obsługuje ponad 70 języków. Pełne listy znajdziesz na stronach Eleven v4 i Eleven v3.

FAQ

Text to Dialogue jest dostępne w modelach Eleven v4 i Eleven v3.

Tak. Zachowujesz własność każdego wygenerowanego audio. Prawa do użytku komercyjnego są jednak dostępne tylko w płatnych planach. W ramach płatnej subskrypcji możesz używać wygenerowanego audio w celach komercyjnych i monetyzować wyniki, jeśli masz prawa własności intelektualnej do treści wejściowej.

Bezpłatna regeneracja pozwala ponownie wygenerować tę samą treść zamiany tekstu na mowę bez dodatkowych kosztów, pod warunkiem że:

  • Jest dostępna tylko w panelu ElevenLabs.
  • Możesz bezpłatnie regenerować każdy fragment treści maksymalnie 2 razy.
  • Treść musi być dokładnie taka sama jak w poprzedniej generacji. Każda zmiana tekstu, ustawień głosu lub innych parametrów wymaga nowej, płatnej generacji.

Bezpłatne regeneracje przydają się, gdy w wyjściowym audio występuje niewielkie zniekształcenie. Według wewnętrznych testów ElevenLabs regeneracje rozwiązują około połowy problemów z jakością, a pozostałe zwykle wynikają ze słabych danych treningowych.

Liczba mówców w dialogu nie jest ograniczona.

Modele są niedeterministyczne. Aby uzyskać większą spójność, użyj opcjonalnego parametru seed, choć nadal mogą występować drobne różnice.

Aby generowanie było niezawodne, łączna długość wszystkich wartości inputs[].text powinna wynosić maksymalnie 2000 znaków na żądanie. Podziel dłuższy tekst na fragmenty i połącz wynikowe audio w aplikacji.

Kluczowe informacje

  • Modele: Dostępne w Eleven v4 i Eleven v3
  • Mówcy: Brak limitu liczby mówców w dialogu
  • Rozmiar żądania: Łączna długość wszystkich wartości inputs[].text powinna wynosić maksymalnie 2000 znaków na żądanie
  • Deterministyczność: Wynik jest niedeterministyczny — użyj parametru seed, aby uzyskać większą spójność
  • Bezpłatne regeneracje: Maksymalnie 2 bezpłatne regeneracje na generację (ta sama treść, te same parametry, tylko w panelu)
  • Własność: Zachowujesz własność wygenerowanego audio; użytek komercyjny wymaga płatnego planu