API do dubbingu AI: Jak dubbingować audio i wideo na dużą skalę

Jeszcze kilka dekad temu dubbing wideo oznaczał rezerwację studia, zatrudnienie aktorów głosowych dla wybranego języka, nagranie (i ponowne nagranie) każdej kwestii, a potem tygodnie oczekiwania na gotowy materiał.

API dubbingu AI skraca ten proces do kilku wywołań REST. Wyślij audio lub wideo i otrzymaj zdubbingowany materiał w nowych językach, z zachowaniem oryginalnego tempa i zakresu emocji.

W tym przewodniku wyjaśniamy, jak działa API dubbingu AI i co odróżnia rozwiązanie gotowe do produkcji od poskładanego pipeline'u. Pokażemy też, jak zintegrować nowe API dubbingu ElevenLabs, które oferuje teraz Dubbing v2, nasz najnowszy model dubbingu, z każdym workflow.

Podsumowanie

• API dubbingu AI przyjmuje źródłowe audio lub wideo i zwraca zdubbingowany materiał w nowych językach.
• Dubbing v2 to model audio-to-audio, który opiera się na oryginalnym wykonaniu, dzięki czemu emocje, ton i sposób mówienia przechodzą do każdego dubbingu.
• Dubbing API ElevenLabs obsługuje ponad 90 języków i tłumaczenie uwzględniające synchronizację.
• Deweloperzy tworzą projekt dubbingu, dodają języki docelowe i pobierają gotowe dubbingi za pomocą kilku wywołań REST.
• Klienci Enterprise mogą edytować transkrypcje źródłowe i tłumaczenia, a następnie generować ponownie tylko zmienione segmenty. 

Czym jest API dubbingu AI?

API dubbingu AI to interfejs programistyczny, który przyjmuje audio lub wideo w jednym języku i zwraca zdubbingowane audio w językach docelowych. Automatyzuje cały łańcuch lokalizacji: transkrypcję źródła, tłumaczenie dialogów, klonowanie głosu każdego mówcy, generowanie mowy w języku docelowym i dopasowanie wyniku do oryginalnego tempa.

Choć deweloperzy łączyli usługi Speech to Text, tłumaczenia maszynowego i Text to Speech w prowizoryczne pipeline'y dubbingu, nie są one niezawodne przy pracy na większą skalę.

Tożsamość mówcy rozpada się między etapami, synchronizacja może się rozjechać, a pełen emocji scenariusz staje się monotonny.

Stworzone do tego API dubbingu zawiera dodatkowe funkcje, które rozwiązują te problemy. Od rozdzielania mówców i zachowania głosu po wewnętrzną synchronizację i klonowanie głosu — wysokiej jakości API dubbingu AI sprawia, że wynik brzmi jak oryginalny mówca, a nie płaskie tłumaczenie.

Jak działa dubbing AI: audio-to-audio a pipeline'y kaskadowe

Większość zautomatyzowanych systemów dubbingu to pipeline'y kaskadowe. Transkrybują źródłowe audio, tłumaczą transkrypcję i syntezują nową mowę na podstawie tekstu. Wszystko poza surową transkrypcją — wahanie, napięcie, sarkazm czy szeptana uwaga — ginie przed rozpoczęciem syntezy.

ElevenLabs Dubbing v2 działa inaczej. 

Dubbing v2 oferuje model audio-to-audio, który tworzy wynik bezpośrednio na podstawie oryginalnego nagrania, a nie jego transkrypcji. Ton, emocje i rejestr emocjonalny przechodzą do dubbingu, ponieważ model słyszy wykonanie, zamiast czytać jego opis.

Szacujemy, że dubbingi tworzone przez Dubbing v2 osiągają 80–90% jakości ludzkiej pracy, więc dubbing AI sprawdza się teraz nawet w treściach filmowych.

Dubbing v2 oferuje też trzy kluczowe możliwości:

• Tłumaczenie uwzględniające synchronizację: Model tłumaczy z uwzględnieniem czasu, więc początek i koniec zdubbingowanego audio od razu pasują do oryginału. Nie wymaga to obróbki wideo ani synchronizacji ruchu ust. Audio trafia dokładnie tam, gdzie oryginalny dialog.
• Automatyczne klonowanie głosu: Każde tłumaczenie otrzymujesz głosem sklonowanym z głosu oryginalnego mówcy — bez ręcznego klonowania. Tożsamość mówcy, wysokość i barwa głosu są zachowane w każdym obsługiwanym języku, nawet przy wielu mówcach.
• Dokładność na poziomie lokalizacji: Dubbing v2 rozróżnia warianty regionalne, takie jak hiszpański latynoamerykański i kastylijski, dzięki ustawieniom regionalnym przez kody języków, np. pt-BR dla portugalskiego brazylijskiego.

Na co zwrócić uwagę w API dubbingu AI

Przy ocenie API dubbingu AI dla pipeline'u deweloperskiego warto zwrócić uwagę na kilka kluczowych kryteriów.

Oto najważniejsze funkcje najlepszych API dubbingu AI:

• Szeroki zakres języków i lokalizacji: Szukaj szerokiej obsługi (ponad 90 języków) oraz możliwości precyzyjnego wyboru np. wariantów regionalnych.
• Zachowanie wykonania: Sprawdź, czy system opiera się na źródłowym audio czy na transkrypcji. Architektura audio-to-audio decyduje, czy emocje przetrwają dubbing.
• Płynna jakość synchronizacji: Zdubbingowane audio, które odbiega od oryginalnego tempa, wymaga wielu godzin ręcznych poprawek. Synchronizacja powinna działać domyślnie, by uniknąć dodatkowej obróbki.
• Obsługa wielu mówców i tła: API dubbingu AI powinno bez problemu radzić sobie z nakładającymi się głosami lub efektami dźwiękowymi. API powinno też zachowywać muzykę w tle muzykę lub miks w klipie.
• Edycja i ponowne generowanie: API dubbingu, które pozwala poprawić transkrypcję, dopracować tłumaczenie i wygenerować ponownie tylko objęte zmianą segmenty, oszczędza konieczności ponownego dubbingowania całych plików.
• Zgodność: Zastosowania Enterprise wymagają zgodności z SOC 2, RODO i ISO 27001, zanim treści trafią do systemu.

W dalszej części przewodnika omawiamy Dubbing API ElevenLabs, które oferuje wszystkie funkcje z powyższej listy.

Jak dubbingować audio i wideo za pomocą Dubbing API ElevenLabs

Dubbing API opiera się na projektach. Każdy projekt zawiera jeden plik źródłowy i jego transkrypcję. Następnie możesz dodać po jednym języku docelowym dla każdego języka dubbingu, a każdy z nich ma własne tłumaczenie i wynik.

Podstawowy workflow tworzenia i pobierania poniżej jest dostępny dla wszystkich użytkowników platformy ElevenAPI.

1) Utwórz projekt dubbingu

Wyślij źródłowe media jako przesłany plik lub publiczny adres URL. Uwierzytelnianie używa klucza API w nagłówku xi-api-key. Możesz przekazać opcjonalną etykietę referencyjną, by rozpoznać projekt po swojej stronie, oraz kluczowe terminy, by ukierunkować transkrypcję i tłumaczenie na nazwy produktów lub marek.

Utwórz z adresu URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Utwórz z przesłanego pliku

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Odpowiedź zwraca project_id ze statusem queued. Pominięcie source_language sprawi, że model wykryje go automatycznie podczas transkrypcji.

2) Odpytywanie do czasu gotowości projektu

Źródła są transkrybowane asynchronicznie, więc odpytywanie projektu kontynuuj, aż jego status zmieni się na ready. 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Gotowy projekt ma przygotowaną źródłową transkrypcję i czeka na dodanie języków docelowych. Postęp dla każdego języka jest zapisywany przy samych językach, więc projekt od tego momentu pozostaje w stanie ready. 

3) Dodaj języki docelowe

Dodaj jeden język dla każdego celu. Ustawienie cloning_strength (od 0 do 10, domyślnie 7) określa kompromis między podobieństwem do oryginalnego głosu a naturalnością wypowiedzi w języku docelowym. 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Każdy język przechodzi przez statusy queued i processing aż do completed.

Aby stworzyć dubbing w pięciu językach, wykonaj pięć wywołań dla tego samego projektu. Źródło jest transkrybowane raz, a każdy język tłumaczy na jego podstawie.

4) Pobierz zdubbingowany materiał

Pobierz język, gdy jego status to completed. Odpowiedź zawiera podpisany adres URL pobierania zdubbingowanego audio.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Pamiętaj, że adresy URL pobierania są ograniczone czasowo, więc pobierz język ponownie, gdy potrzebujesz nowego linku.

Te cztery kroki dają w pełni zautomatyzowaną pętlę dubbingu: utwórz, odpytaj, dodaj języki, pobierz.

Edycja i ponowne generowanie dubbingów przez API

Automatyzacja wyników wystarcza w większości przypadków, ale w przypadku premium lokalizacji często potrzebna jest ludzka kontrola słów, by wszystko brzmiało idealnie. Dubbing API daje klientom Enterprise kontrolę nad oboma stronami tłumaczenia na poziomie segmentów. 

Źródłowa transkrypcja jest jedynym źródłem prawdy, z którego tłumaczą wszystkie języki, i można ją w pełni edytować. Możesz poprawić błędnie usłyszaną kwestię, przypisanie mówcy lub czas dowolnego segmentu:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Każdy język docelowy ma własną transkrypcję, która łączy każdy segment źródłowy z jego tłumaczeniem. Tłumaczenia można edytować tak samo.

Możesz też użyć własnej źródłowej transkrypcji i tłumaczenia. Dzięki temu twój obecny workflow lokalizacyjny kontroluje słowa, a model zajmuje się głosami.

Gdy transkrypcja zmieni się po ukończeniu dubbingu, język zostaje oznaczony jako stale, a jedno wywołanie generuje go ponownie na podstawie aktualnego tekstu.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Ponowne generowanie jest bezpłatne do 1× długości źródłowych mediów, więc kolejne wersje tłumaczenia nie zwielokrotniają kosztu dubbingu. Po przekroczeniu limitu 1× ponowne generowanie jest rozliczane według standardowej stawki dubbingu.

Przypadki użycia API dubbingu AI

API dubbingu wideo przydaje się zawsze, gdy chcesz lokalizować audio na dużą skalę. Ręczny dubbing zajmuje dużo czasu i pracy, a API dubbingu AI pozwala znacznie przyspieszyć ten proces.

Oto kilka zastosowań API dubbingu AI:

• Platformy do tworzenia mediów: Wbuduj dubbing bezpośrednio w workflow tworzenia treści, aby użytkownicy mogli eksperymentować bez opuszczania aplikacji.
• Materiały szkoleniowe i wsparcia: Firmy rekrutujące globalnie mogą lokalizować treści na różne języki, wspierając materiały wdrożeniowe dla wszystkich użytkowników.
• Streaming i media: Pipeline'y lokalizacyjne mogą automatycznie dubbingować długie seriale i inne materiały na potrzeby dystrybucji na wielu rynkach. 
• Materiały marketingowe: Twórz wielojęzyczne kampanie wideo bez ponownego nagrywania kwestii aktorów głosowych w dziesiątkach języków.
• Edtech: Platformy kursowe dubbingują nagrania instruktorów na każdy obsługiwany rynek, zachowując głos instruktora. 

API dubbingu ułatwiają tworzenie wysokiej jakości, zlokalizowanych treści na dużą skalę.

Dubbing v2 jest już dostępny w ElevenAPI

Dubbing API jest dostępne dla deweloperów self-serve i Enterprise. Dubbing v2 jest dostępny dla wszystkich, a endpointy edycji — dla przestrzeni roboczych Enterprise. 

Poznaj Dubbing API i zobacz pełen zestaw możliwości albo zarejestruj się i utwórz klucz API, aby w kilka minut stworzyć pierwszy dubbing.

FAQ o API dubbingu