API do dubbingu AI: Jak dubbingować audio i wideo na dużą skalę

Jeszcze kilkanaście lat temu dubbingowanie wideo oznaczało rezerwację studia, zatrudnienie aktorów głosowych, nagrywanie (i poprawianie) każdej kwestii, a potem czekanie tygodniami na gotowy materiał.

API do dubbingu AI skraca ten proces do kilku wywołań REST. Wysyłasz audio lub wideo i dostajesz dubbing w nowych językach, z zachowaniem oryginalnego tempa i emocji.

W tym przewodniku wyjaśniamy, jak działa API do dubbingu AI i czym różni się profesjonalne rozwiązanie od prowizorycznych rozwiązań. Pokażemy też, jak zintegrować nowe API do dubbingu ElevenLabs, które oferuje Dubbing v2, nasz najnowszy model dubbingu, do każdego workflow.

Podsumowanie

• API do dubbingu AI przyjmuje źródłowe audio lub wideo i zwraca dubbing w nowych językach.
• Dubbing v2 to model audio do audio, który bazuje na oryginalnym wykonaniu, więc emocje, ton i sposób mówienia przechodzą do każdego dubbingu.
• Dubbing API ElevenLabs obsługuje ponad 90 języków z tłumaczeniem zsynchronizowanym z oryginałem.
• Deweloperzy tworzą projekt dubbingu, dodają języki docelowe i pobierają gotowe dubbingi za pomocą kilku wywołań REST.
• Klienci biznesowi mogą edytować transkrypcje źródłowe i tłumaczenia, a potem wygenerować ponownie tylko zmienione fragmenty.

Czym jest API do dubbingu AI?

API do dubbingu AI to programistyczny interfejs, który przyjmuje audio lub wideo w jednym języku i zwraca dubbing w językach docelowych. Automatyzuje cały proces lokalizacji: transkrypcję, tłumaczenie dialogów, klonowanie głosów, generowanie mowy w nowym języku i dopasowanie do oryginalnego tempa.

Deweloperzy łączyli wcześniej Speech to Text, tłumaczenie maszynowe i Text to Speech w prowizoryczne procesy dubbingu, ale nie sprawdzają się one przy większych projektach.

Tożsamość mówców się rozmywa, tempo się rozjeżdża, a emocjonalny scenariusz zamienia się w monotonię.

API do dubbingu stworzone od podstaw ma dodatkowe funkcje, które rozwiązują te problemy. Od rozdzielania mówców i zachowania głosu po synchronizację i klonowanie głosu – dobre API do dubbingu AI sprawia, że efekt brzmi jak oryginalny mówca, a nie płaskie tłumaczenie.

Jak działa dubbing AI: audio do audio vs. łańcuchowe procesy

Większość automatycznych systemów dubbingu to łańcuchowe procesy. Tłumaczą źródłowe audio, tłumaczą transkrypcję i generują nową mowę z tekstu. Wszystko poza samym tekstem – np. pauzy, napięcie, sarkazm czy szept – ginie zanim zacznie się synteza.

ElevenLabs Dubbing v2 działa inaczej.

Dubbing v2 to model audio do audio, który generuje dubbing bezpośrednio na podstawie oryginalnego nagrania, a nie samej transkrypcji. Ton, emocje i sposób mówienia przechodzą do dubbingu, bo model słyszy wykonanie, a nie tylko opis.

Szacujemy, że Dubbing v2 osiąga 80-90% jakości ludzkiego dubbingu, więc AI sprawdza się nawet przy filmach.

Trzy inne kluczowe funkcje Dubbing v2:

• Tłumaczenie zsynchronizowane: Model tłumaczy z myślą o tempie, więc start i stop w dubbingu pokrywają się z oryginałem. Nie trzeba manipulować wideo ani synchronizować ust. Audio trafia dokładnie tam, gdzie oryginalny dialog.
• Automatyczne klonowanie głosu: Każde tłumaczenie jest w klonie głosu oryginalnego mówcy, bez ręcznego klonowania. Tożsamość, ton i barwa głosu są zachowane w każdym języku, nawet przy wielu mówcach.
• Dokładność na poziomie regionu: Dubbing v2 rozróżnia warianty regionalne, np. hiszpański latynoamerykański i kastylijski, dzięki kodom językowym jak pt-BR dla portugalskiego z Brazylii.

Na co zwrócić uwagę w API do dubbingu AI

Przy wyborze API do dubbingu AI do swojego workflow, warto zwrócić uwagę na kilka kluczowych rzeczy.

Oto najważniejsze funkcje najlepszych API do dubbingu AI:

• Szeroki zakres języków i regionów: Szukaj szerokiego wyboru (ponad 90 języków) i możliwości wyboru wariantów regionalnych.
• Zachowanie wykonania: Sprawdź, czy system bazuje na oryginalnym audio czy tylko na transkrypcji. Architektura audio do audio decyduje, czy emocje przetrwają w dubbingu.
• Jakość synchronizacji:Dubbing, który nie trzyma tempa oryginału, oznacza godziny ręcznych poprawek. Synchronizacja musi działać od razu, żeby uniknąć dodatkowej pracy.
• Obsługa wielu mówców i tła: API do dubbingu AI powinno radzić sobie z nakładającymi się głosami czy efektami dźwiękowymi bez problemu. Powinno też zachować tło, np. muzykę lub miks w klipie.
• Edycja i ponowne generowanie: API do dubbingu, które pozwala poprawić transkrypcję, dopracować tłumaczenie i wygenerować tylko zmienione fragmenty, oszczędza czas i nie wymaga dubbingowania całego pliku od nowa.
• Zgodność z przepisami: Firmy potrzebują zgodności z SOC 2, RODO i ISO 27001 zanim treści trafią do systemu.

Dalsza część przewodnika pokazuje, jak działa Dubbing API w ElevenLabs – z każdą z powyższych funkcji.

Jak dubbingować audio i wideo przez Dubbing API ElevenLabs

Dubbing API działa w oparciu o projekty. Każdy projekt ma jeden plik źródłowy i jego transkrypcję. Możesz dodać jeden język docelowy na każdy język, w który chcesz dubbingować – każdy z własnym tłumaczeniem i plikiem wyjściowym.

Podstawowy workflow tworzenia i pobierania działa dla wszystkich użytkowników na platformie ElevenAPI.

1) Utwórz projekt dubbingu

Wyślij plik źródłowy jako upload lub podaj publiczny URL. Uwierzytelnianie odbywa się przez klucz API w nagłówku xi-api-key. Możesz dodać opcjonalną etykietę do identyfikacji projektu i słowa kluczowe, by transkrypcja i tłumaczenie lepiej rozpoznawały nazwy produktów lub marek.

Utwórz z URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Utwórz przez upload pliku

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Odpowiedź zwraca project_id ze statusem queued. Jeśli nie podasz source_language, model wykryje język automatycznie podczas transkrypcji.

2) Sprawdzaj status projektu aż będzie gotowy

Źródła są transkrybowane asynchronicznie, więc sprawdzaj projekt aż status zmieni się na ready.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Gotowy projekt ma już transkrypcję źródłową i czeka na dodanie języków docelowych. Postęp dla każdego języka jest widoczny osobno, więc projekt od tego momentu pozostaje gotowy.

3) Dodaj języki docelowe

Dodaj jeden język na każdy dubbing. Ustawienie cloning_strength (0-10, domyślnie 7) pozwala wybrać między podobieństwem do oryginalnego głosu a naturalnością w języku docelowym.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Każdy język przechodzi przez statusy queued, processing i completed.

Aby dubbingować na pięć języków, wykonaj pięć wywołań dla tego samego projektu. Źródło jest transkrybowane raz, a każdy język tłumaczy się z tej transkrypcji.

4) Pobierz gotowy dubbing

Pobierz język, gdy status zmieni się na completed. Odpowiedź zawiera podpisany link do pobrania dubbingu.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Pamiętaj, że linki do pobrania są ograniczone czasowo – pobierz język ponownie, gdy potrzebujesz nowego linku.

Te cztery kroki to w pełni automatyczny proces dubbingu: utwórz, sprawdzaj status, dodaj języki, pobierz.

Edycja i ponowne generowanie dubbingu przez API

Automatyzacja wystarczy w większości przypadków, ale przy profesjonalnej lokalizacji często warto, by człowiek sprawdził tekst. Dubbing API daje klientom biznesowym kontrolę nad każdym fragmentem tłumaczenia.

Transkrypcja źródłowa to punkt wyjścia dla wszystkich języków i można ją w pełni edytować. Możesz poprawić źle rozpoznaną kwestię, przypisać mówcę lub zmienić timing dowolnego fragmentu:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Każdy język docelowy ma własną transkrypcję, łączącą fragmenty źródłowe z tłumaczeniem. Tłumaczenia można edytować tak samo.

Możesz też dodać własną transkrypcję i tłumaczenie, dzięki czemu twój obecny workflow lokalizacyjny kontroluje tekst, a model zajmuje się głosami.

Gdy transkrypcja zmieni się po zakończeniu dubbingu, język dostaje status stale i jedno wywołanie generuje go ponownie z nowego tekstu.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Ponowne generowanie jest darmowe do 1x długości źródła, więc poprawki tłumaczenia nie zwiększają kosztów dubbingu. Po przekroczeniu limitu, regeneracja jest rozliczana według standardowej stawki.

Zastosowania API do dubbingu AI

API do dubbingu wideo przydaje się zawsze, gdy trzeba zlokalizować audio na dużą skalę. Ręczny dubbing jest czasochłonny, a API do dubbingu AI znacznie przyspiesza cały proces.

Oto kilka zastosowań API do dubbingu AI:

• Platformy do tworzenia treści: Wbuduj dubbing bezpośrednio w workflow twórców, by mogli eksperymentować bez wychodzenia z twojej aplikacji.
• Materiały szkoleniowe i wsparcie: Firmy zatrudniające globalnie mogą lokalizować treści na różne języki, wspierając onboarding i szkolenia dla wszystkich użytkowników.
• Streaming i media: Procesy lokalizacyjne mogą automatycznie dubbingować seriale lub inne media na potrzeby wielu rynków.
• Materiały marketingowe: Wypuszczaj wielojęzyczne kampanie wideo bez nagrywania kwestii aktorów w każdym języku.
• Edtech: Platformy kursowe dubbingują nagrania instruktorów na każdy rynek, zachowując ich głos.

Dzięki API do dubbingu łatwo tworzyć wysokiej jakości, zlokalizowane treści na dużą skalę.

Dubbing v2 jest już dostępny na ElevenAPI

Dubbing API jest dostępne dla deweloperów indywidualnych i biznesowych, z Dubbing v2 dla wszystkich i edycją dla firm.

Zobacz Dubbing API żeby poznać wszystkie możliwości lub zarejestruj się i pobierz klucz API żeby uruchomić pierwszy dubbing w kilka minut.

FAQ o API do dubbingu