Optymalizacja opóźnień

Ten przewodnik omawia podstawowe zasady poprawy opóźnień zamiany tekstu na mowę. Teoretyczne wyjaśnienie, czym jest opóźnienie i co na nie wpływa, znajdziesz w artykule Zrozumienie opóźnień.

Choć istnieje wiele konkretnych technik, podzielimy je na cztery zasady.

Cztery zasady

1. Używaj modeli Flash
2. Korzystaj ze streamingu
3. Weź pod uwagę bliskość geograficzną
4. Wybieraj odpowiednie głosy

Użyj modelu czasu rzeczywistego

Eleven v4 Turbo i Flash v2.5 są przeznaczone do pracy w czasie rzeczywistym, z medianą opóźnienia około 100 ms. Modele Flash oferują nieco niższą jakość audio niż Multilingual v2.

Korzystaj ze streamingu

W naszej dokumentacji API dostępne są trzy typy endpointów zamiany tekstu na mowę:

• Zwykły endpoint: Zwraca kompletny plik audio w jednej odpowiedzi.
• Endpoint streamingowy: Stopniowo zwraca fragmenty audio za pomocą zdarzeń wysyłanych przez serwer.
• Endpoint WebSocket: Umożliwia dwukierunkowy streaming do generowania audio w czasie rzeczywistym.

Streaming

Endpointy streamingowe stopniowo zwracają audio podczas generowania go w czasie rzeczywistym, skracając czas do pierwszego bajtu. Ten endpoint jest zalecany, gdy tekst wejściowy jest dostępny od razu.

WebSockety

Endpoint WebSocket zamiany tekstu na mowę obsługuje dwukierunkowy streaming, więc świetnie sprawdza się w aplikacjach z tekstem wprowadzanym w czasie rzeczywistym (np. wynikami LLM).

Jeśli auto_mode jest wyłączony, model poczeka na wystarczającą ilość tekstu zgodną z harmonogramem fragmentów, zanim zacznie generować audio.

Na przykład jeśli ustawisz harmonogram fragmentów na 125 znaków, ale dotrze tylko 50, model zatrzyma się, aż nadejdą kolejne znaki — co może zwiększyć opóźnienie.

Szczegóły implementacji znajdziesz w przewodniku po WebSocketach zamiany tekstu na mowę.

Wybieraj odpowiednie głosy

Zaobserwowaliśmy, że w niektórych przypadkach wybór głosu może wpływać na opóźnienie. Kolejność od najszybszych do najwolniejszych:

1. Głosy domyślne (wcześniej gotowe), głosy syntetyczne i klony Instant Voice Clone (IVC)
2. Klony Professional Voice Clone (PVC)

Formaty wyjściowe o wyższej jakości audio mogą zwiększać opóźnienie. Zadbaj o równowagę między wymaganiami dotyczącymi opóźnień a jakością audio.

Weź pod uwagę bliskość geograficzną

Udostępniamy nasze modele z wielu regionów, aby optymalizować opóźnienia zależnie od twojej lokalizacji.

Na przykład podczas używania modeli Flash z WebSocketami możesz oczekiwać następujących opóźnień TTFB zależnie od lokalizacji:

Możesz sprawdzić, który region backendu obsługuje żądanie, analizując nagłówek x-region w odpowiedzi API. Obecnie używane regiony to: USA, Holandia i Singapur.

Aby zrezygnować z globalnego routingu i zawsze używać serwerów w USA, użyj bazowego adresu URL api.us.elevenlabs.io w żądaniach API:

import os
from elevenlabs.client import ElevenLabs
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
    base_url="https://api.us.elevenlabs.io"
)