Optymalizacja opóźnień

Ten przewodnik opisuje kluczowe zasady skracania opóźnień zamiany tekstu na mowę. Wyjaśnienie, czym jest opóźnienie i co na nie wpływa, znajdziesz w artykule Zrozumienie opóźnień.

Istnieje wiele konkretnych technik, ale podzielimy je na cztery zasady.

Cztery zasady

1. Używaj modeli Flash
2. Korzystaj ze streamingu
3. Uwzględnij odległość geograficzną
4. Wybieraj odpowiednie głosy

Używaj modeli Flash

Modele Flash oferują szybkość inferencji na poziomie ~75 ms, więc świetnie sprawdzają się w aplikacjach czasu rzeczywistego. Kompromisem jest nieco niższa jakość audio w porównaniu z Multilingual v2.

Korzystaj ze streamingu

W naszej dokumentacji API dostępne są trzy typy endpointów zamiany tekstu na mowę:

• Zwykły endpoint: Zwraca pełny plik audio w jednej odpowiedzi.
• Endpoint streamingowy: Stopniowo zwraca fragmenty audio przez zdarzenia wysyłane przez serwer.
• Endpoint WebSocket: Umożliwia dwukierunkowy streaming do generowania audio w czasie rzeczywistym.

Streaming

Endpointy streamingowe stopniowo zwracają audio podczas generowania go w czasie rzeczywistym, skracając czas do pierwszego bajtu. Ten endpoint polecamy, gdy tekst wejściowy jest dostępny od razu.

WebSocket

Endpoint WebSocket zamiany tekstu na mowę obsługuje dwukierunkowy streaming, dlatego idealnie nadaje się do aplikacji z tekstem wprowadzanym w czasie rzeczywistym (np. wynikami LLM).

Gdy auto_mode jest wyłączony, model czeka na wystarczającą ilość tekstu zgodną z harmonogramem fragmentów, zanim zacznie generować audio.

Na przykład, jeśli ustawisz harmonogram fragmentów na 125 znaków, ale nadejdzie tylko 50, model zatrzyma się, aż pojawią się kolejne znaki — co może zwiększyć opóźnienie.

Szczegóły implementacji znajdziesz w przewodniku po WebSocket zamiany tekstu na mowę.

Wybieraj odpowiednie głosy

Zaobserwowaliśmy, że w niektórych przypadkach wybór głosu może wpływać na opóźnienie. Oto kolejność od najszybszych do najwolniejszych:

1. Głosy domyślne (dawniej gotowe), głosy syntetyczne i Instant Voice Clones (IVC)
2. Professional Voice Clones (PVC)

Formaty wyjściowe o wyższej jakości audio mogą zwiększać opóźnienie. Dopasuj wymagania dotyczące opóźnień do potrzebnej jakości audio.

Uwzględnij odległość geograficzną

Udostępniamy nasze modele z wielu regionów, aby zoptymalizować opóźnienia zależnie od twojej lokalizacji.

Na przykład przy użyciu modeli Flash z WebSocket możesz oczekiwać następujących opóźnień TTFB zależnie od lokalizacji:

Możesz sprawdzić, który region backendu obsługuje twoje żądanie, analizując nagłówek x-region w odpowiedzi API. Obecnie używane regiony to: USA, Holandia i Singapur.

Aby zrezygnować z globalnego routingu i zawsze używać serwerów w USA, stosuj bazowy adres URL api.us.elevenlabs.io w żądaniach API:

import os
from elevenlabs.client import ElevenLabs
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
    base_url="https://api.us.elevenlabs.io"
)