आपके ट्रांसक्रिप्ट को कैसे पता चलता है कि हर शब्द कब बोला गया

अगर आपने कभी टीवी पर ऐसी फ़िल्म देखी हो जिसमें प्रसारण में कोई समस्या हो और कलाकारों के संवाद कैप्शन से पूरी तरह बेमेल हों, तो आप जानते हैं कि यह कितना ध्यान भटका सकता है और आपको कहानी से बाहर कर सकता है। वॉइस मॉडल इस्तेमाल करने वाले वीडियो और सॉफ़्टवेयर में भी यही समस्या होती है: एक सेकंड देर से आने वाला सबटाइटल या गलत शब्द को हाइलाइट करने वाला ट्रांसक्रिप्ट उतना ही बिगड़ा हुआ लग सकता है।

ElevenLabs में अलाइनमेंट पर काम करने वाले शोधकर्ता डैनिला कोज़लोव ने कहा, “इंसान मीडिया को अलाइन करने में काफ़ी अच्छे होते हैं, कम से कम शब्द स्तर पर। अक्सर हमें सहज रूप से पता चल जाता है कि कोई शब्द कहाँ शुरू हो रहा है, लेकिन कैरेक्टर स्तर पर और सब-मिलीसेकंड सटीकता के साथ यह बहुत कठिन है।” 

आज, ElevenLabs Cue पेश कर रहा है, एक फोर्स्ड अलाइनमेंट मॉडल जो ऑडियो फ़ाइल के हर कैरेक्टर को सटीक टाइमलाइन पर रखता है। Cue, ElevenLabs के Scribe मॉडल परिवार को संचालित करता है और वास्तविक रिकॉर्डिंग्स पर यह बेंचमार्क की सभी 29 भाषाओं में ElevenLabs द्वारा टेस्ट किए गए हर अलाइनर से अधिक सटीक है। यह किसी भी लंबाई की रिकॉर्डिंग को एक ही पास में संभालता है और एक घंटे के ऑडियो को एक सेकंड से कम समय में अलाइन कर देता है। 

फोर्स्ड अलाइनमेंट क्या है?

कल्पना कीजिए कि कोई आपको एक वीडियो और एक ट्रांसक्रिप्ट देता है और हर शब्द को उसके बोले जाने के समय से मिलाने को कहता है। यही फोर्स्ड अलाइनमेंट है। जब आप ElevenLabs ट्रांसक्रिप्ट में किसी शब्द पर क्लिक करते हैं और प्लेयर ठीक उस जगह पर पहुँच जाता है, तो यह काम एक अलाइनर कर रहा होता है।

हालाँकि, फोर्स्ड अलाइनमेंट, AI अलाइनमेंट की अपेक्षाकृत अस्पष्ट अवधारणा से अलग है। AI अलाइनमेंट का मतलब AI सिस्टम को इस तरह डिज़ाइन करना है कि उनका व्यवहार लोगों के मूल्यों और व्यावसायिक प्राथमिकताओं के अनुरूप हो। फोर्स्ड अलाइनमेंट में, हम सिर्फ़ टेक्स्ट और ध्वनि को मिलाने की बात कर रहे हैं।

Cue, स्पीच-टू-टेक्स्ट पाइपलाइन का आखिरी चरण है। ElevenLabs का Scribe, स्पीच टू टेक्स्ट मॉडल, ऑडियो को ट्रांसक्राइब करता है और अलाइनर टाइमिंग सेट करता है। हर Scribe रिक्वेस्ट इससे होकर गुजरती है। यही मॉडल सबटाइटल, डबिंग और संगीत के लिए लिरिक्स टाइमिंग को भी संचालित करता है, और यह अलग से फोर्स्ड अलाइनमेंट API के ज़रिए भी उपलब्ध है।

कई प्रोडक्ट्स इसके भरोसे होते हैं, इसलिए अलाइनर को हर समर्थित भाषा में सटीक, बेहद तेज़ और एक साथ कई रिक्वेस्ट संभालने में सक्षम होना चाहिए।

पारंपरिक अलाइनर कहाँ कम पड़ते हैं

नए मॉडल से पहले, टीम ने वह अलाइनर मॉडल बनाया था जो अब तक हर ElevenLabs प्रोडक्ट में इस्तेमाल हुआ था। वह शक्तिशाली था, लेकिन उन्हें पता था कि वे उसका नया वर्ज़न और बेहतर बना सकते हैं। कोज़लोव के शामिल होने पर, उन्होंने और टीम ने ElevenLabs के ग्राहकों और आंतरिक यूज़र्स से बात की कि पिछले अलाइनर के साथ काम करते समय उन्हें किन बातों से परेशानी होती थी। उनकी शिकायतें टीम द्वारा टेस्ट किए गए ओपन-सोर्स टूल्स की सीमाओं से मेल खाती थीं।

लंबाई पहली बड़ी समस्या है। आज कई अलाइनर लगभग 30 सेकंड लंबे क्लिप्स के लिए अच्छा काम करते हैं, लेकिन लंबी फ़ाइलों को टुकड़ों में बाँटना पड़ता है। हर नया टुकड़ा टाइमिंग में थोड़ी त्रुटि जोड़ सकता है, और टुकड़ों के जोड़ मिलाने से त्रुटि और बढ़ सकती है। पूरी रिकॉर्डिंग्स में Cue की औसत टाइमिंग त्रुटि सिर्फ़ 179 मिलीसेकंड है, जबकि ओपन-सोर्स टूल्स में यह 283 ms से लेकर 6,000 ms से अधिक तक रही। 

वास्तविक दुनिया में रिकॉर्ड किया गया ऑडियो और भी चुनौतीपूर्ण होता है। बैकग्राउंड शोर, एक-दूसरे पर चढ़ती आवाज़ें और परिवेशी संगीत कई टूल्स को टेक्स्ट को ऑडियो से मिलाते समय अपनी जगह खोने पर मजबूर कर देते हैं। लेकिन लोग अक्सर ऐसी ही फ़ाइलों को ट्रांसक्राइब कराना चाहते हैं, क्योंकि हम सभी हमेशा पूरी तरह शांत जगहों में नहीं रहते। बैकग्राउंड समस्याओं वाली अंग्रेज़ी रिकॉर्डिंग्स में Cue की औसत त्रुटि 57 ms रही, जबकि अन्य टूल्स के लिए यह 65 ms से 920 ms तक थी।

भाषा समर्थन भी एक सीमा है। ज़्यादातर ओपन-सोर्स अलाइनर को हर समर्थित भाषा के लिए अलग मॉडल चाहिए होता है, इसलिए जिन भाषाओं के लिए ट्रेनिंग डेटा कम है, उनमें अक्सर प्रदर्शन अच्छा नहीं होता या वे समर्थित ही नहीं होतीं। MMS-FA ही एकमात्र दूसरा टूल है जो बेंचमार्क की सभी 29 भाषाओं को संभालता है, और तुलना में Cue आम तौर पर शब्दों के बीच की सीमाएँ पहचानने में तेज़ था।

इन मॉडलों के लिए गति भी एक समस्या है, क्योंकि बड़ी मात्रा में ऑडियो को अलाइन करना जल्दी महँगा हो सकता है। हमारे प्रोडक्शन GPU पर Cue लगभग आधे सेकंड में एक घंटे के ऑडियो को अलाइन कर सकता है। अगला सबसे तेज़ टूल, Qwen3-ForcedAligner, लगभग 2 सेकंड लेता है, और टेस्ट किया गया सबसे धीमा टूल एक मिनट से भी ज़्यादा लेता है।

Cue कैसे अलग है

अपने अधिकांश प्रतिस्पर्धियों के विपरीत, Cue एक ही मॉडल है जो 90 से अधिक बेंचमार्क भाषाओं को कवर करता है। यह किसी भी लंबाई की रिकॉर्डिंग को एक ही पास में ले सकता है, जिससे लंबे फ़ाइलों में टाइमिंग त्रुटियों को बढ़ाने वाले टुकड़ों में बाँटने से बचा जा सकता है।

कोज़लोव ने कहा कि जहाँ ज़्यादातर मॉडल बेहतर प्रदर्शन के साथ बड़े होते गए हैं, Cue पिछले ElevenLabs अलाइनर से छोटा है। यह अब भी GPU पर चलता है, लेकिन लगभग आधे सेकंड में एक घंटे के ऑडियो को अलाइन कर देता है। 

टीम ने Cue को लोगों द्वारा वास्तव में अपलोड किए जाने वाले ऑडियो के प्रकारों को ध्यान में रखकर बनाया। पिछले अलाइनर को आधार मानकर, उन्होंने वास्तविक रिक्वेस्ट्स से एक बेंचमार्क बनाया और हर टूल को एक ही तरह से स्कोर किया; किसी टूल द्वारा प्लेस न किए गए हर शब्द को त्रुटि माना गया। Cue कैरेक्टर स्तर पर काम करता है, जो ज़्यादातर बेंचमार्क में इस्तेमाल होने वाले शब्द-स्तरीय लेबल्स से अधिक बारीक है, इसलिए ये स्कोर संभवतः इसकी सटीकता को कम आँकते हैं।

अलाइनर मॉडलों के बारे में कोज़लोव ने कहा, “एक समय पर आप इंसानी क्षमताओं के स्तर पर पहुँच जाते हैं। हमारा मौजूदा अलाइनर उस स्तर से आगे है, इसलिए यह जाँचना बहुत कठिन हो जाता है कि आप पूरी तरह सही हैं या बस कितने सटीक हैं, क्योंकि इसके लिए कोई आदर्श बेंचमार्क नहीं है। कैरेक्टर-स्तरीय सिस्टम को बेंचमार्क करने के लिए हमें शब्द-स्तरीय बेंचमार्क इस्तेमाल करने पड़े, जो ज़रूरी नहीं कि Cue की पूरी क्षमता दिखाएँ।”

Cue की गुणवत्ता यह भी दिखाती है कि ElevenLabs यूज़र फ़ीडबैक पर कितनी तेज़ी से काम कर सकता है। Cue लॉन्च होने के तुरंत बाद, एक ग्राहक ने टीम को बताया कि जॉर्जियन और कम संसाधनों वाली कुछ अन्य भाषाओं का प्रदर्शन उम्मीद से खराब था। ElevenLabs रिसर्च को अपने प्रोडक्ट्स इस्तेमाल करने वाली टीम्स और ग्राहकों के करीब रखता है, इसलिए हम समस्या को जल्दी पकड़ सके, मॉडल में संभावित सुधारों पर रिसर्च कर सके, मॉडल का नया वर्ज़न ट्रेन कर सके और उसे रिलीज़ कर सके — ग्राहक द्वारा पहली बार समस्या बताने के 24 घंटे से भी कम समय में। 

गानों को अलाइन करना

संगीत कठिन है, क्योंकि गाने में शब्द खिंचते और धुंधले होते हैं, और बहुत कम मॉडल इसे अच्छी तरह कर पाते हैं। टीम को उम्मीद नहीं थी कि Cue इसे इतनी अच्छी तरह संभाल लेगा। Cue, Creative Commons लाइसेंस वाले JamendoLyrics MultiLang डेटासेट के गानों के एक सबसेट को अलाइन कर सका। इसने अंग्रेज़ी, फ़्रेंच, स्पैनिश और जर्मन में — एक ही पास में — हैरान करने वाली सटीकता के साथ ऐसा किया। इसने 92.7% शब्दों को लेबल के 0.3 सेकंड के भीतर रखा, जबकि अगले सबसे अच्छे टूल के लिए यह 82.0% था। 

Cue की औसत शुरुआती त्रुटि 0.82 सेकंड थी, जो सबसे करीबी प्रतिस्पर्धी की लगभग आधी थी। 22 में से कम से कम 19 गानों में यह हर दूसरे टूल से अधिक सटीक था। आपके पसंदीदा नए गाने रिलीज़ वाले दिन ही कराओके में गाने की संभावना बहुत बड़ी है। 

आज ही Cue आज़माएँ

Cue पहले से ही ElevenLabs पर हर स्पीच टू टेक्स्ट ट्रांसक्रिप्शन के पीछे काम कर रहा है। इसे सीधे इस्तेमाल करने के लिए फोर्स्ड अलाइनमेंट API आज़माएँ।

आभार

ElevenLabs के अलाइनर मॉडलों पर काम कंपनी भर के कई लोगों के बिना संभव नहीं होता। टीम मॉडल के पिछले और नए वर्ज़न पर काम करने वाले सभी लोगों को धन्यवाद देना चाहती है, जिनमें सह-संस्थापक और CTO Piotr Dąbkowski, शोधकर्ता Danila Kozlov, Luca Lanzendörfer, Flavio Schneider, Max Levi, Tim von Känel और Angelos Perivolaropoulos; Data Operations में Ani Janelidze, हमारी Forward Deployed Engineer और Support टीम्स; और इस ब्लॉग के विज़ुअलाइज़ेशन पर काम करने के लिए Lorenzo Dossi शामिल हैं।