AI डबिंग API: बड़े पैमाने पर ऑडियो और वीडियो को डब कैसे करें

कुछ दशक पहले, किसी वीडियो को डब करने का मतलब था स्टूडियो बुक करना, अपनी लक्ष्य भाषा के लिए वॉइस ऐक्टर रखना, हर लाइन रिकॉर्ड करना (और दोबारा रिकॉर्ड करना), फिर अंतिम डिलीवरी के लिए हफ़्तों इंतज़ार करना।

AI डबिंग API इस प्रक्रिया को कुछ REST कॉल्स तक सीमित कर देता है। अपना ऑडियो या वीडियो भेजें और मूल टाइमिंग व भावनात्मक अभिव्यक्ति बरकरार रखते हुए नई भाषाओं में डब किया गया आउटपुट पाएं।

इस गाइड में बताया गया है कि AI डबिंग API कैसे काम करता है और प्रोडक्शन-ग्रेड API को जोड़े-तोड़कर बनाई गई पाइपलाइन से क्या अलग करता है। हम यह भी जानेंगे कि ElevenLabs के नए डबिंग API को कैसे इंटीग्रेट करें, जो अब हर workflow में Dubbing v2, हमारा नवीनतम डबिंग मॉडल, उपलब्ध कराता है।

सारांश

• AI डबिंग API स्रोत ऑडियो या वीडियो लेता है और नई भाषाओं में डब किया गया आउटपुट देता है।
• Dubbing v2 एक ऑडियो टू ऑडियो मॉडल है, जो मूल परफॉर्मेंस पर आधारित होता है। यानी हर डब में भावना, टोन और डिलीवरी बनी रहती है।
• ElevenLabs Dubbing API सिंक-अवेयर ट्रांसलेशन के साथ 90+ भाषाओं को कवर करता है।
• डेवलपर कुछ REST कॉल्स से डबिंग प्रोजेक्ट बनाते हैं, लक्ष्य भाषाएं जोड़ते हैं और तैयार डब डाउनलोड करते हैं।
• एंटरप्राइज़ ग्राहक स्रोत ट्रांसक्रिप्ट और अनुवाद संपादित कर सकते हैं, फिर सिर्फ़ बदले गए सेगमेंट दोबारा जनरेट कर सकते हैं। 

AI डबिंग API क्या है?

एक AI डबिंग API एक प्रोग्रामेटिक इंटरफ़ेस है, जो एक भाषा में ऑडियो या वीडियो स्वीकार करता है और लक्ष्य भाषाओं में डब किया गया ऑडियो देता है। यह पूरी लोकलाइज़ेशन प्रक्रिया को ऑटोमेट करता है: स्रोत को ट्रांसक्राइब करना, डायलॉग का अनुवाद करना, हर स्पीकर की आवाज़ क्लोन करना, लक्ष्य भाषा में स्पीच जनरेट करना और आउटपुट को मूल टाइमिंग से मिलाना।

हालांकि डेवलपर्स ने स्पीच टू टेक्स्ट, मशीन ट्रांसलेशन और टेक्स्ट टू स्पीच सेवाओं को जोड़कर अस्थायी डबिंग पाइपलाइन बनाई हैं, लेकिन वे बड़े पैमाने के वर्कलोड के लिए भरोसेमंद नहीं हैं।

अलग-अलग चरणों में स्पीकर की पहचान बिखर जाती है, टाइमिंग भटक सकती है और कभी भावनाओं से भरपूर स्क्रिप्ट भी एकरस हो जाती है।

खास तौर पर बनाया गया डबिंग API इन समस्याओं को हल करने वाली कई अतिरिक्त सुविधाएं देता है। स्पीकर सेपरेशन और आवाज़ को बनाए रखने से लेकर इंटरनल सिंकिंग और वॉइस क्लोनिंग तक, उच्च-गुणवत्ता वाला AI डबिंग API आउटपुट को सपाट अनुवाद के बजाय मूल स्पीकर जैसा सुनाता है।

AI डबिंग कैसे काम करती है: ऑडियो टू ऑडियो बनाम कैस्केडेड पाइपलाइन

ज़्यादातर ऑटोमेटेड डबिंग सिस्टम कैस्केडेड पाइपलाइन होते हैं। वे स्रोत ऑडियो को ट्रांसक्राइब करते हैं, ट्रांसक्रिप्ट का अनुवाद करते हैं और उस टेक्स्ट से नई स्पीच सिंथेसाइज़ करते हैं। कच्चे ट्रांसक्रिप्ट से आगे की हर चीज़—जैसे झिझक, तनाव, व्यंग्य या फुसफुसाकर कही गई बात—सिंथेसिस शुरू होने से पहले ही खो जाती है।

ElevenLabs Dubbing v2 एक अलग तरीका अपनाता है। 

Dubbing v2 एक ऑडियो टू ऑडियो मॉडल देता है, जो आउटपुट को ट्रांसक्रिप्ट के बजाय सीधे मूल रिकॉर्डिंग पर आधारित करता है। टोन, भावना और भावनात्मक शैली डब में पहुंचती है, क्योंकि मॉडल परफॉर्मेंस को पढ़ने के बजाय सुनता है।

हमारा अनुमान है कि Dubbing v2 मानव गुणवत्ता के 80-90% तक के डब तैयार करता है। इसका मतलब है कि AI डबिंग अब सिनेमाई कंटेंट के लिए भी काम करती है।

Dubbing v2 की तीन अन्य मुख्य क्षमताएं हैं:

• सिंक-अवेयर ट्रांसलेशन: मॉडल टाइमिंग को ध्यान में रखकर अनुवाद करता है, इसलिए डब किए गए ऑडियो के शुरू और खत्म होने के समय मूल से अपने आप मेल खाते हैं। इसमें वीडियो मैनिपुलेशन या लिप सिंक शामिल नहीं है। ऑडियो ठीक वहीं आता है, जहां मूल डायलॉग था।
• ऑटोमैटिक वॉइस क्लोनिंग: हर अनुवाद मूल स्पीकर की क्लोन की गई आवाज़ में दिया जाता है और इसके लिए कोई मैन्युअल क्लोनिंग चरण नहीं होता। कई स्पीकर होने पर भी हर समर्थित भाषा में स्पीकर की पहचान, पिच और टोनैलिटी बरकरार रहती है।
• लोकेल-स्तरीय सटीकता: Dubbing v2 ब्राज़ीलियाई पुर्तगाली के लिए pt-BR जैसे भाषा कोड के ज़रिए लोकेल कंट्रोल के साथ क्षेत्रीय रूपों, जैसे लैटिन अमेरिकी या कैस्टिलियन स्पैनिश, में अंतर करता है।

AI डबिंग API में क्या देखें

अपने डेवलपर पाइपलाइन के लिए AI डबिंग API का मूल्यांकन करते समय, कुछ मुख्य मानदंड देखें।

सर्वश्रेष्ठ AI डबिंग API की मुख्य सुविधाएं ये हैं:

• व्यापक भाषा और लोकेल कवरेज: व्यापकता (90+ भाषाएं) और क्षेत्रीय रूपों जैसे पहलुओं को बारीकी से लक्षित करने की क्षमता देखें।
• परफॉर्मेंस का संरक्षण: पूछें कि सिस्टम स्रोत ऑडियो पर आधारित है या ट्रांसक्रिप्ट पर। ऑडियो टू ऑडियो आर्किटेक्चर तय करता है कि डब में भावना बनी रहेगी या नहीं।
• सहज सिंक गुणवत्ता: मूल टाइमिंग से भटकता डब किया गया ऑडियो घंटों की मैन्युअल सफ़ाई पैदा करता है। पोस्ट-प्रोसेसिंग का अतिरिक्त काम बचाने के लिए सिंक को डिफ़ॉल्ट रूप से काम करना चाहिए।
• मल्टी-स्पीकर और बैकग्राउंड क्षमताएं: AI डबिंग API को एक-दूसरे पर चढ़ते स्पीकर या साउंड इफेक्ट्स को आसानी से संभालना चाहिए। API को क्लिप में बैकग्राउंड म्यूज़िक या मिक्स भी बरकरार रखना चाहिए।
• एडिटिंग और रीजनरेशन: ऐसा डबिंग API, जो आपको ट्रांसक्रिप्ट सुधारने, अनुवाद को बेहतर बनाने और सिर्फ़ प्रभावित सेगमेंट दोबारा जनरेट करने दे, पूरी फाइलों को फिर से डब करने से बचाता है।
• कंप्लायंस:कंटेंट को सिस्टम से गुज़रने से पहले एंटरप्राइज़ वर्कलोड के लिए SOC 2, GDPR और ISO 27001 कंप्लायंस चाहिए।

इस गाइड के बाकी हिस्से में ElevenLabs के Dubbing API के बारे में बताया गया है, जिसमें ऊपर दी गई सूची की हर सुविधा शामिल है।

ElevenLabs Dubbing API से ऑडियो और वीडियो कैसे डब करें

Dubbing API प्रोजेक्ट्स के आधार पर व्यवस्थित है। हर प्रोजेक्ट में एक स्रोत फ़ाइल और उसका ट्रांसक्रिप्ट होता है। फिर आप जिस भाषा में डब करना चाहते हैं, उसके लिए एक लक्ष्य भाषा जोड़ सकते हैं। हर भाषा का अपना अनुवाद और आउटपुट होता है।

नीचे दिया गया बुनियादी create-and-fetch workflow ElevenAPI प्लेटफ़ॉर्म पर सभी यूज़र्स के लिए उपलब्ध है।

1) डबिंग प्रोजेक्ट बनाएं

अपने स्रोत मीडिया को फ़ाइल अपलोड या सार्वजनिक URL के रूप में भेजें। ऑथेंटिकेशन के लिए xi-api-key हेडर में अपनी API key का उपयोग करें। आप अपनी तरफ़ प्रोजेक्ट पहचानने के लिए वैकल्पिक रेफ़रेंस लेबल और ट्रांसक्रिप्शन व अनुवाद को प्रोडक्ट या ब्रांड नामों की ओर झुकाने के लिए keyterms दे सकते हैं।

URL से बनाएं

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

फ़ाइल अपलोड से बनाएं

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

रिस्पॉन्स में queued स्टेटस के साथ project_id मिलता है। source_language न दें, तो मॉडल ट्रांसक्रिप्शन के दौरान इसे अपने आप पहचान लेता है।

2) प्रोजेक्ट तैयार होने तक पोल करें

स्रोतों का ट्रांसक्रिप्शन असिंक्रोनस रूप से होता है, इसलिए प्रोजेक्ट का स्टेटस ready होने तक उसे पोल करें। 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

तैयार प्रोजेक्ट का स्रोत ट्रांसक्रिप्ट तैयार होता है और वह आपके लक्ष्य भाषाएं जोड़ने का इंतज़ार करता है। हर भाषा की प्रगति खुद भाषा पर होती है, इसलिए इस बिंदु से प्रोजेक्ट ready ही रहता है। 

3) लक्ष्य भाषाएं जोड़ें

हर लक्ष्य के लिए एक भाषा जोड़ें। cloning_strength सेटिंग (0 से 10, डिफ़ॉल्ट 7) मूल आवाज़ से समानता और लक्ष्य भाषा में प्राकृतिक डिलीवरी के बीच संतुलन नियंत्रित करती है। 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

हर भाषा queued और processing से होते हुए completed तक पहुंचती है।

पांच भाषाओं में डब करने के लिए, एक ही प्रोजेक्ट पर पांच कॉल्स करें। स्रोत को एक बार ट्रांसक्राइब किया जाता है और हर भाषा उसी से अनुवाद करती है।

4) डब किया गया आउटपुट डाउनलोड करें

भाषा का स्टेटस completed होने पर उसे फ़ेच करें। रिस्पॉन्स में डब किए गए ऑडियो के लिए साइन किया हुआ डाउनलोड URL शामिल होता है।

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

याद रखें कि डाउनलोड URL की समय-सीमा होती है, इसलिए नया लिंक चाहिए तो भाषा को दोबारा फ़ेच करें।

इन चार चरणों से आपके पास पूरी तरह ऑटोमेटेड डबिंग लूप होता है: create, poll, भाषाएं जोड़ें, डाउनलोड करें।

API से डब एडिट और रीजनरेट करना

आउटपुट ऑटोमेट करने से ज़्यादातर उपयोग के मामले कवर हो जाते हैं, लेकिन प्रीमियम लोकलाइज़ेशन में अक्सर शब्दों की मानवीय समीक्षा चाहिए, ताकि सब कुछ बिल्कुल सही लगे। Dubbing API एंटरप्राइज़ ग्राहकों को अनुवाद के दोनों पक्षों पर सेगमेंट-स्तरीय नियंत्रण देता है। 

स्रोत ट्रांसक्रिप्ट वह एकमात्र आधार है जिससे हर भाषा अनुवाद करती है और इसे पूरी तरह संपादित किया जा सकता है। आप गलत सुनी गई लाइन सुधार सकते हैं, स्पीकर असाइनमेंट ठीक कर सकते हैं या किसी भी सेगमेंट की टाइमिंग समायोजित कर सकते हैं:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

हर लक्ष्य भाषा अपना ट्रांसक्रिप्ट देती है, जिसमें हर स्रोत सेगमेंट उसके अनुवाद के साथ जुड़ा होता है। अनुवाद भी इसी तरह संपादित किए जा सकते हैं।

आप अपना स्रोत ट्रांसक्रिप्ट और अनुवाद भी ला सकते हैं। इससे शब्दों पर आपके मौजूदा लोकलाइज़ेशन workflow का नियंत्रण रहता है, जबकि मॉडल आवाज़ों को संभालता है।

डब पूरा होने के बाद ट्रांसक्रिप्ट बदलने पर भाषा को stale चिह्नित कर दिया जाता है और एक ही कॉल से उसे मौजूदा टेक्स्ट से फिर जनरेट किया जाता है।

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

स्रोत मीडिया की अवधि के 1x तक रीजनरेशन मुफ़्त है, यानी अनुवाद पर बार-बार काम करने से आपका डबिंग बिल कई गुना नहीं बढ़ता। 1x कोटा के बाद, रीजनरेशन के लिए आपकी मानक डबिंग दर लागू होती है।

AI डबिंग API के उपयोग के मामले

वीडियो डबिंग API तब उपयोगी है, जब आपको बड़ी मात्रा में ऑडियो लोकलाइज़ करना हो। मैन्युअल डबिंग में समय और मेहनत लगती है, जबकि AI डबिंग API प्रक्रिया को काफ़ी तेज़ कर देता है।

AI डबिंग API के कुछ उपयोग के मामले ये हैं:

• मीडिया क्रिएशन प्लेटफ़ॉर्म: डबिंग को सीधे अपने क्रिएटर प्रोडक्शन workflows में शामिल करें, ताकि यूज़र आपका ऐप छोड़े बिना प्रयोग कर सकें।
• ट्रेनिंग और सपोर्ट कंटेंट:वैश्विक हायरिंग पूल वाले एंटरप्राइज़ कंटेंट को अलग-अलग भाषाओं में लोकलाइज़ कर सकते हैं और सभी यूज़र्स के लिए ऑनबोर्डिंग ट्रेनिंग वीडियो उपलब्ध करा सकते हैं।
• स्ट्रीमिंग और मीडिया: लोकलाइज़ेशन पाइपलाइन लंबी सीरीज़ या अन्य मीडिया को कई क्षेत्रों में रिलीज़ करने के लिए अपने आप डब कर सकती हैं। 
• मार्केटिंग सामग्री:दर्जनों भाषाओं में वॉइस ऐक्टर की लाइनें दोबारा रिकॉर्ड किए बिना बहुभाषी वीडियो कैंपेन लॉन्च करें।
• Edtech:कोर्स प्लेटफ़ॉर्म, इंस्ट्रक्टर की आवाज़ बरकरार रखते हुए, उनके वीडियो को हर उस बाज़ार की भाषा में डब करते हैं जहां वे सेवा देते हैं। 

हर क्षेत्र में डबिंग API बड़े पैमाने पर उच्च-गुणवत्ता वाला, लोकलाइज़्ड कंटेंट बनाना आसान बनाते हैं।

Dubbing v2 अब ElevenAPI पर लाइव है

Dubbing API अब सेल्फ़-सर्व और एंटरप्राइज़, दोनों तरह के डेवलपर्स के लिए लाइव है। Dubbing v2 सभी के लिए उपलब्ध है और एंटरप्राइज़ वर्कस्पेस के लिए एडिटिंग एंडपॉइंट्स भी हैं। 

पूरी क्षमता देखने के लिए Dubbing API देखें या साइन अप करें और API key बनाएं ताकि मिनटों में अपना पहला डब चला सकें।

डबिंग API के बारे में अक्सर पूछे जाने वाले सवाल