AI डबिंग API: बड़े पैमाने पर ऑडियो और वीडियो को डब कैसे करें

कुछ दशक पहले, किसी वीडियो को डब करने के लिए स्टूडियो बुक करना, अपनी टारगेट भाषा के लिए वॉइस ऐक्टर हायर करना, हर लाइन रिकॉर्ड (और फिर से रिकॉर्ड) करना, और फिर फाइनल डिलीवरी के लिए हफ्तों तक इंतजार करना पड़ता था।

AI डबिंग API इस पूरे प्रोसेस को कुछ REST कॉल्स में बदल देता है। आप अपना ऑडियो या वीडियो भेजें और नई भाषाओं में डब किया हुआ आउटपुट पाएं, जिसमें ओरिजिनल टाइमिंग और इमोशनल रेंज बनी रहती है।

इस गाइड में बताया गया है कि AI डबिंग API कैसे काम करता है और प्रोडक्शन-ग्रेड API को साधारण पाइपलाइन से क्या अलग बनाता है। हम यह भी देखेंगे कि ElevenLabs का नया डबिंग API कैसे इंटीग्रेट करें, जिसमें अब Dubbing v2 यानी हमारा लेटेस्ट डबिंग मॉडल, हर वर्कफ़्लो के लिए उपलब्ध है।

सारांश

• AI डबिंग API सोर्स ऑडियो या वीडियो लेता है और नई भाषाओं में डब किया हुआ आउटपुट देता है।
• Dubbing v2 एक ऑडियो टू ऑडियो मॉडल है जो ओरिजिनल परफॉर्मेंस पर आधारित है, यानी इमोशन, टोन और डिलीवरी हर डब में बनी रहती है।
• ElevenLabs डबिंग API 90+ भाषाओं को सिंक-अवेयर ट्रांसलेशन के साथ सपोर्ट करता है।
• डेवलपर्स एक डबिंग प्रोजेक्ट बनाते हैं, टारगेट भाषाएं जोड़ते हैं, और कुछ REST कॉल्स में तैयार डब डाउनलोड कर सकते हैं।
• एंटरप्राइज कस्टमर्स सोर्स ट्रांसक्रिप्ट और ट्रांसलेशन एडिट कर सकते हैं, फिर सिर्फ उन्हीं सेगमेंट्स को रीजनरेट कर सकते हैं जो बदले गए हैं।

AI डबिंग API क्या है?

AI डबिंग API एक प्रोग्रामेटिक इंटरफेस है जो एक भाषा में ऑडियो या वीडियो लेता है और टारगेट भाषाओं में डब किया हुआ ऑडियो लौटाता है। यह पूरी लोकलाइजेशन चेन को ऑटोमेट करता है: सोर्स को ट्रांसक्राइब करना, डायलॉग ट्रांसलेट करना, हर स्पीकर की वॉइस क्लोन करना, टारगेट भाषा में स्पीच जनरेट करना, और आउटपुट को ओरिजिनल टाइमिंग के साथ अलाइन करना।

हालांकि डेवलपर्स ने स्पीच टू टेक्स्ट, मशीन ट्रांसलेशन, और टेक्स्ट टू स्पीच जैसी सर्विसेज़ को जोड़कर डबिंग पाइपलाइन बनाई हैं, लेकिन ये बड़े वर्कलोड्स के लिए भरोसेमंद नहीं हैं।

स्पीकर की पहचान अलग-अलग स्टेज में टूट जाती है, टाइमिंग बिगड़ सकती है, और कभी इमोशन से भरी स्क्रिप्ट सपाट हो जाती है।

एक खासतौर पर बनी डबिंग API में कई एक्स्ट्रा फीचर्स होते हैं जो इन समस्याओं को दूर करते हैं। स्पीकर सेपरेशन और वॉइस प्रिज़र्वेशन से लेकर इंटरनल सिंकिंग और वॉइस क्लोनिंग तक, एक हाई-क्वालिटी AI डबिंग API आउटपुट को ओरिजिनल स्पीकर जैसा बनाती है, न कि सिर्फ एक साधारण ट्रांसलेशन।

AI डबिंग कैसे काम करता है: ऑडियो टू ऑडियो बनाम कैस्केडेड पाइपलाइन

ज्यादातर ऑटोमेटेड डबिंग सिस्टम कैस्केडेड पाइपलाइन होते हैं। वे सोर्स ऑडियो को ट्रांसक्राइब करते हैं, ट्रांसक्रिप्ट ट्रांसलेट करते हैं, और उस टेक्स्ट से नई स्पीच बनाते हैं। ट्रांसक्रिप्ट के अलावा बाकी सब, जैसे हिचकिचाहट, तनाव, व्यंग्य या फुसफुसाहट, सिंथेसिस शुरू होने से पहले ही खो जाता है।

ElevenLabs Dubbing v2 एक अलग तरीका अपनाता है।

Dubbing v2 एक ऑडियो टू ऑडियो मॉडल देता है, जो आउटपुट को सीधे ओरिजिनल रिकॉर्डिंग पर आधारित करता है, न कि उसकी ट्रांसक्रिप्ट पर। टोन, इमोशन और इमोशनल रजिस्टर डब में ट्रांसफर होते हैं क्योंकि मॉडल परफॉर्मेंस को सुनता है, सिर्फ उसका डिस्क्रिप्शन नहीं पढ़ता।

हमारा अनुमान है कि Dubbing v2 इंसानी क्वालिटी के 80-90% तक डब बना सकता है, यानी अब AI डबिंग सिनेमैटिक कंटेंट पर भी काम करता है।

Dubbing v2 के तीन और मुख्य फीचर्स इसे और बेहतर बनाते हैं:

• सिंक-अवेयर ट्रांसलेशन: मॉडल ट्रांसलेट करते समय टाइमिंग का ध्यान रखता है, जिससे डब किए गए ऑडियो की शुरुआत और अंत ओरिजिनल के साथ अपने आप मेल खाते हैं। इसमें कोई वीडियो एडिटिंग या लिप सिंकिंग नहीं होती। ऑडियो ठीक वहीं आता है, जहां ओरिजिनल डायलॉग था।
• ऑटोमैटिक वॉइस क्लोनिंग: हर ट्रांसलेशन ओरिजिनल स्पीकर की वॉइस क्लोन में डिलीवर होती है, बिना किसी मैन्युअल क्लोनिंग के। स्पीकर की पहचान, पिच और टोनालिटी हर सपोर्टेड भाषा में बनी रहती है, चाहे कई स्पीकर्स हों।
• लोकेल-लेवल एक्युरेसी: Dubbing v2 रीजनल वेरिएंट्स को पहचानता है, जैसे लैटिन अमेरिकन या कास्टिलियन स्पैनिश, और भाषा कोड्स (जैसे pt-BR ब्राज़ीलियन पुर्तगाली के लिए) से कंट्रोल देता है।

AI डबिंग API में क्या देखें

अगर आप अपने डेवलपर पाइपलाइन के लिए AI डबिंग API चुन रहे हैं, तो कुछ मुख्य बातों पर ध्यान दें।

सर्वश्रेष्ठ AI डबिंग API में ये मुख्य फीचर्स होते हैं:

• विस्तृत भाषा और लोकेल कवरेज: देखें कि कितनी भाषाएं (90+) मिलती हैं और क्या रीजनल वेरिएंट्स जैसे पहलुओं को टारगेट किया जा सकता है।
• परफॉर्मेंस प्रिज़र्वेशन: पूछें कि सिस्टम सोर्स ऑडियो पर आधारित है या ट्रांसक्रिप्ट पर। ऑडियो टू ऑडियो आर्किटेक्चर से तय होता है कि इमोशन डब में रहेगा या नहीं।
• सीमलेस सिंक क्वालिटी: डब किया गया ऑडियो अगर ओरिजिनल टाइमिंग से अलग हो जाए तो मैन्युअल एडिटिंग में घंटों लग सकते हैं। सिंकिंग डिफॉल्ट रूप से सही होनी चाहिए ताकि पोस्ट-प्रोसेसिंग की जरूरत न पड़े।
• मल्टी-स्पीकर और बैकग्राउंड कैपेबिलिटी: AI डबिंग API को ओवरलैपिंग स्पीकर्स या साउंड इफेक्ट्स को आसानी से संभालना चाहिए। API को बैकग्राउंड म्यूजिक या क्लिप के अंदर मिक्स भी प्रिज़र्व करना चाहिए।
• एडिटिंग और रीजनरेशन: ऐसी डबिंग API जो आपको ट्रांसक्रिप्ट सुधारने, ट्रांसलेशन बेहतर करने और सिर्फ बदले हुए हिस्से रीजनरेट करने दे, वो आपको पूरी फाइल फिर से डब करने से बचाती है।
• कंप्लायंस: एंटरप्राइज वर्कलोड्स के लिए SOC 2, GDPR और ISO 27001 कंप्लायंस जरूरी है, ताकि कंटेंट सिस्टम में सुरक्षित रहे।

इस गाइड के बाकी हिस्से में ElevenLabs की डबिंग API के बारे में बताया गया है, जिसमें ऊपर दिए गए सभी फीचर्स मिलते हैं।

ElevenLabs डबिंग API से ऑडियो और वीडियो कैसे डब करें

डबिंग API प्रोजेक्ट्स के इर्द-गिर्द बनी है। हर प्रोजेक्ट में एक सोर्स फाइल और उसकी ट्रांसक्रिप्ट होती है। आप जितनी भाषाओं में डब करना चाहते हैं, हर भाषा के लिए एक-एक टारगेट भाषा जोड़ सकते हैं, और हर भाषा की अपनी ट्रांसलेशन और आउटपुट होगी।

नीचे दिया गया बेसिक क्रिएट-एंड-फेच वर्कफ़्लो सभी यूज़र्स के लिए उपलब्ध है ElevenAPI प्लेटफॉर्म पर।

1) डबिंग प्रोजेक्ट बनाएं

अपना सोर्स मीडिया फाइल अपलोड या पब्लिक URL के रूप में भेजें। ऑथेंटिकेशन के लिए xi-api-key हेडर में अपनी API की का इस्तेमाल करें। आप प्रोजेक्ट को पहचानने के लिए एक ऑप्शनल रेफरेंस लेबल और ट्रांसक्रिप्शन/ट्रांसलेशन को प्रोडक्ट या ब्रांड नाम की ओर झुकाने के लिए कीटर्म्स भी भेज सकते हैं।

URL से बनाएं

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

फाइल अपलोड से बनाएं

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

रिस्पॉन्स में एक project_id और स्टेटस queued मिलता है। अगर source_language नहीं देते तो मॉडल ट्रांसक्रिप्शन के दौरान खुद पहचान लेता है।

2) प्रोजेक्ट तैयार होने तक पोल करें

सोर्सेज़ असिंक्रोनसली ट्रांसक्राइब होते हैं, इसलिए प्रोजेक्ट को तब तक पोल करें जब तक उसका स्टेटस ready न हो जाए।

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

रेडी प्रोजेक्ट का सोर्स ट्रांसक्रिप्ट तैयार होता है और अब आप टारगेट भाषाएं जोड़ सकते हैं। हर भाषा की प्रोग्रेस उसी भाषा में दिखती है, इसलिए प्रोजेक्ट अब से रेडी ही रहता है।

3) टारगेट भाषाएं जोड़ें

हर टारगेट के लिए एक भाषा जोड़ें। cloning_strength सेटिंग (0 से 10, डिफॉल्ट 7) तय करती है कि ओरिजिनल वॉइस से कितनी समानता और टारगेट भाषा में कितनी नैचुरल डिलीवरी चाहिए।

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

हर भाषा queued और processing से होते हुए completed तक जाती है।

अगर आपको पांच भाषाओं में डब करना है, तो एक ही प्रोजेक्ट पर पांच कॉल करें। सोर्स एक बार ट्रांसक्राइब होता है और हर भाषा उसी से ट्रांसलेट होती है।

4) डब किया हुआ आउटपुट डाउनलोड करें

भाषा का स्टेटस completed होने पर उसे फेच करें। रिस्पॉन्स में डब किए गए ऑडियो के लिए साइन किया हुआ डाउनलोड URL मिलता है।

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

ध्यान रखें कि डाउनलोड URL समय-सीमित होते हैं, इसलिए जब भी नया लिंक चाहिए, भाषा को फिर से फेच करें।

इन चार स्टेप्स से आपके पास पूरी तरह ऑटोमेटेड डबिंग लूप है: बनाएं, पोल करें, भाषाएं जोड़ें, डाउनलोड करें।

API के ज़रिए डब्स एडिट और रीजनरेट करना

आउटपुट ऑटोमेट करने से ज्यादातर काम हो जाएगा, लेकिन प्रीमियम लोकलाइजेशन में अक्सर शब्दों पर इंसानी नजर जरूरी होती है ताकि सब कुछ परफेक्ट लगे। डबिंग API एंटरप्राइज कस्टमर्स को ट्रांसलेशन के दोनों तरफ सेगमेंट-लेवल कंट्रोल देती है।

सोर्स ट्रांसक्रिप्ट ही वह एक जगह है जिससे हर भाषा ट्रांसलेट होती है, और यह पूरी तरह एडिटेबल है। आप कोई गलत सुनी लाइन सुधार सकते हैं, स्पीकर असाइनमेंट ठीक कर सकते हैं, या किसी भी सेगमेंट की टाइमिंग एडजस्ट कर सकते हैं:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

हर टारगेट भाषा अपनी ट्रांसक्रिप्ट दिखाती है, जिसमें हर सोर्स सेगमेंट के साथ उसकी ट्रांसलेशन जुड़ी होती है। ट्रांसलेशन भी इसी तरह एडिट की जा सकती है।

आप अपनी खुद की सोर्स ट्रांसक्रिप्ट और ट्रांसलेशन भी ला सकते हैं, जिससे आपके मौजूदा लोकलाइजेशन वर्कफ़्लो में शब्दों का कंट्रोल रहता है और मॉडल वॉइस संभालता है।

अगर डब के बाद ट्रांसक्रिप्ट बदलती है, तो भाषा stale मार्क हो जाती है, और एक कॉल से वह मौजूदा टेक्स्ट से रीजनरेट हो जाती है।

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

रीजनरेशन सोर्स मीडिया की ड्यूरेशन के 1x तक फ्री है, यानी ट्रांसलेशन पर काम करने से आपकी डबिंग लागत नहीं बढ़ती। 1x कोटा के बाद, रीजनरेशन आपकी स्टैंडर्ड डबिंग रेट पर चार्ज होता है।

AI डबिंग API के उपयोग

जब भी आपको बड़ी मात्रा में ऑडियो लोकलाइज़ करना हो, वीडियो डबिंग API बहुत काम आता है। मैन्युअल डबिंग में बहुत समय और मेहनत लगती है, जबकि AI डबिंग API से आप यह काम काफी तेज़ कर सकते हैं।

AI डबिंग API के कुछ उपयोग इस तरह हैं:

• मीडिया क्रिएशन प्लेटफॉर्म: अपने क्रिएटर प्रोडक्शन वर्कफ़्लो में डबिंग सीधे जोड़ें ताकि यूज़र आपकी ऐप छोड़े बिना एक्सपेरिमेंट कर सकें।
• ट्रेनिंग और सपोर्ट कंटेंट: ग्लोबल हायरिंग वाली कंपनियां कंटेंट को अलग-अलग भाषाओं में लोकलाइज़ कर सकती हैं, जिससे सभी यूज़र्स के लिए ऑनबोर्डिंग ट्रेनिंग वीडियो मिल सके।
• स्ट्रीमिंग और मीडिया: लोकलाइजेशन पाइपलाइन अपने आप लंबी सीरीज़ या अन्य मीडिया को मल्टी-टेरिटरी रिलीज़ के लिए डब कर सकती है।
• मार्केटिंग मटेरियल: मल्टीलिंगुअल वीडियो कैंपेन बिना हर भाषा में वॉइस ऐक्टर की लाइनें फिर से रिकॉर्ड किए लॉन्च करें।
• एडटेक: कोर्स प्लेटफॉर्म्स हर मार्केट के लिए इंस्ट्रक्टर वीडियो डब करते हैं, और इंस्ट्रक्टर की वॉइस भी बनी रहती है।

हर जगह, डबिंग API से बड़े पैमाने पर हाई-क्वालिटी, लोकलाइज़्ड कंटेंट बनाना आसान हो जाता है।

Dubbing v2 अब ElevenAPI पर लाइव है

डबिंग API सेल्फ-सर्व और एंटरप्राइज डेवलपर्स दोनों के लिए लाइव है, जिसमें Dubbing v2 सभी के लिए उपलब्ध है और एंटरप्राइज वर्कस्पेस के लिए एडिटिंग एंडपॉइंट्स भी हैं।

देखें डबिंग API की पूरी क्षमताएं, या साइन अप करें और API की बनाएं ताकि आप कुछ ही मिनटों में अपनी पहली डब चला सकें।

डबिंग API से जुड़े सवाल-जवाब