हमने ElevenLabs SFX API से साउंडबोर्ड कैसे बनाया

सोचिए एक ऐसा साउंडबोर्ड जो आपकी मांग पर अनगिनत साउंड जनरेट कर सके। यही हमने ElevenLabs में बनाया है—मिलिए SB1 से, हमारा अनलिमिटेड साउंडबोर्ड। ऊपर से देखने में ये आम ग्रिड जैसा है, जिसमें आप क्लिक या कीबोर्ड शॉर्टकट से पैड ट्रिगर करते हैं। लेकिन अंदर से ये चलता है हमारे टेक्स्ट टू साउंड इफेक्ट्स AI ऑडियो मॉडल से।

इस्तेमाल करने के लिए आपको बस कोई भी साउंड डिस्क्राइब करना है, और SB1 उसे जनरेट कर देगा। कुछ डिफॉल्ट साउंड्स भी हैं, लेकिन आप उन्हें भी बदल सकते हैं।

आईडिया से प्रोटोटाइप तक

हमने एक सिंपल सवाल से शुरुआत की: क्या हो अगर आप कोई डिस्क्रिप्शन टाइप करें, जैसे “हल्की बैकग्राउंड जंगल की आवाज़ें” या “ड्रामैटिक ऑडियंस की हैरानी,” और आपको तुरंत यूज़ करने के लिए साउंड इफेक्ट मिल जाए?

पारंपरिक साउंडबोर्ड्स में आपको ऑनलाइन MP3 लाइब्रेरी ढूंढनी पड़ती है। सही साउंड मिल भी जाए, तो भी अक्सर वो ‘बिल्कुल’ वैसा नहीं होता जैसा आप चाहते हैं। लेकिन जनरेटिव AI के साथ अब ये दिक्कत नहीं रही। अब आप लिमिटेड नहीं हैं।

कोडिंग शुरू करने से पहले हमने पसंदीदा का इस्तेमाल किया SB1 का बेसिक प्रोटोटाइप बनाने के लिए। ये अभी API से कनेक्ट नहीं था, लेकिन इससे हमें डिज़ाइन और बटन प्लेसमेंट्स पर एक्सपेरिमेंट करने का मौका मिला, फिर हमारी टीम ने फाइनल UI और कोड तैयार किया।

हम चाहते थे डायनामिक कंटेंट—कोई भी साउंड, तुरंत जनरेट हो। हमारे समाधान का मुख्य हिस्सा है ElevenLabs SFX API। ये API एक सिंगल एंडपॉइंट के पीछे है:

आपको एक JSON पेलोड भेजना है जिसमें आपका प्रॉम्प्ट, जितने वेरिएशन चाहिए (हम डिफॉल्ट चार रखते हैं), और Authorization हेडर में आपकी API key होती है।

रिस्पॉन्स में आपको जनरेटेड WAV फाइल्स के URLs की एक लिस्ट मिलती है। वहां से आप उन्हें स्ट्रीम या डाउनलोड कर सकते हैं और हर क्लिप को किसी पैड पर असाइन कर सकते हैं। आप लूपिंग भी सेट कर सकते हैं। ज्यादा डिटेल के लिए डिस्क्रिप्टिव प्रॉम्प्ट्स दें।

एक सैंपल रिक्वेस्ट कुछ ऐसी दिखती है:

और आपको चार URLs की एक लिस्ट मिलती है। हमने API को ऐसे डिज़ाइन किया है कि ये किसी भी यूज़ केस के लिए स्केल हो सके—चाहे तुरंत साउंडबोर्ड बनाना हो या गेम एसेट्स के लिए बल्क जनरेशन।

SB1 इंटरफेस बनाना

API तैयार होने के बाद हमने फ्रंट-एंड पर काम किया। SB1 एक वेब ऐप है जो React और Tailwind CSS से बना है। हर पैड कंपोनेंट के दो मोड्स हैं:

1. प्रीसेट: सेव किए गए साउंड URLs से लोड होता है
2. कस्टम: यूज़र द्वारा SFX API से जनरेटेड

जब आप कस्टम मोड में किसी खाली पैड पर क्लिक करते हैं, तो एक प्रॉम्प्ट डायलॉग खुलता है। आप डिस्क्रिप्शन टाइप करें, जनरेट करें दबाएं, और API आपको चार ऑप्शन देता है। आप वहीं सुन सकते हैं, जो पसंद आए उसे चुनें, और पैड तुरंत अपडेट हो जाता है। कीबोर्ड बाइंडिंग्स से आप पैड्स को की प्रेस से भी चला सकते हैं, जिससे आप लाइव रिदम या साउंड क्यूज़ प्ले कर सकते हैं।

हमने लूपिंग कंट्रोल्स भी जोड़े हैं। बस लूप बटन दबाएं, जिस साउंड को लूप करना है उसे टैप करें और वो तब तक बजेगा जब तक आप उसे रिलीज़ नहीं करते। इससे SB1 सिर्फ मज़ाक के लिए ही नहीं—ड्रम मशीन और बैकग्राउंड एंबियंस के लिए भी—बल्कि पॉडकास्टिंग, लाइवस्ट्रीम साउंड क्यूज़ और गाइडेड मेडिटेशन के लिए भी काम आता है।

उदाहरण में देखें

एंबियंट साउंडस्केप

• हल्की बारिश: "पत्तों पर गिरती हल्की बारिश"

• तेज़ बारिश: "टिन की छत पर गिरती तेज़ बारिश"

• समुंदर की लहरें: किनारे पर आती नरम लहरें

हमने हर साउंड ऐसे प्रॉम्प्ट्स भेजकर जनरेट किया—जैसे “पत्तों पर गिरती हल्की बारिश” और “किनारे पर आती नरम लहरें।” फिर उन पैड्स को लूप पर सेट किया, जिससे फोकस या मेडिटेशन के लिए बैकग्राउंड बन गया।

ड्रम मशीन

• 808 किक: "सुपर बेस वाली 808 किक"

• स्नेयर हिट: "टाइट स्नेयर स्नैप"

• ओपन सिंबल: "ओपन सिंबल की गूंज"

अब आपको ड्रम लाइब्रेरी से ऑडियो सैंपल्स की जरूरत नहीं। बस “सुपर बेस वाली 808 किक” या “टाइट स्नेयर स्नैप” जैसा डिस्क्राइब करें, और API आपको चार वर्ज़न सुनने के लिए देता है। हमने इन्हें A, S, और D कीज़ पर मैप किया लाइव डेमो के लिए।

अगर आप मॉडल को और टेस्ट करना चाहें, तो किसी कैरेक्टर की आवाज़ में छोटे वॉइस स्निपेट्स भी बना सकते हैं। बस कैरेक्टर बताएं और ब्रैकेट्स में शब्द डालें।

• हाइप्ड अप DJ: हाइप्ड अप DJ कहता है: "Lets get the party started"

• मिशन पर ऑर्क: ऑर्क भारी आवाज़ में कहता है: "This room is over capacity"

• सायरन सॉन्ग: डरावनी फीमेल वोकल गाती है: "Time to go home to bed, party is over"

कस्टम प्रीसेट्स

आप अपने खुद के प्रीसेट्स सेव और नाम दे सकते हैं—जैसे, “Livestream FX” जिसमें gasp, laugh, और applause हो। बोर्ड बनाने के बाद, शेयर करें पर क्लिक करें लिंक कॉपी करने या सीधे सोशल मीडिया पर पोस्ट करने के लिए। जिसके पास लिंक है, वो आपकी SB1 सेटिंग लोड कर सकता है और आपके चुने हुए साउंड्स चला सकता है।

डेवलपर के लिए खास बातें

• स्टेटलेस जनरेशन: हर API कॉल अलग है। आपको कोई ट्रेनिंग पाइपलाइन या बड़ी सैंपल लाइब्रेरी स्टोर करने की जरूरत नहीं—बस अपने UI में इस्तेमाल किए गए URLs को कैश करें।
• लो लेटेंसी: आमतौर पर जनरेशन टाइम दो सेकंड से भी कम है, जिससे फीचर तुरंत जैसा लगता है।
• स्केलेबल: आप सैकड़ों साउंड्स एक साथ जनरेट कर सकते हैं, फिर उन्हें अपने CDN में सेव कर सकते हैं हाई ट्रैफिक के लिए।
• फ्लेक्सिबल फॉर्मेट्स: सबसे अच्छी क्वालिटी के लिए WAV, और अगर छोटी फाइल चाहिए तो MP3।

खुद शुरू करने के लिए हमारे डॉक्युमेंट्स देखें। आपको JavaScript, Python, और cURL के कोड सैंपल्स मिलेंगे, जिनसे आप SFX API को अपने प्रोजेक्ट्स में जोड़ सकते हैं।

आगे क्या?

SB1 सिर्फ एक डेमो है कि हमारा साउंड इफेक्ट मॉडल क्या कर सकता है। हम OBS और डिजिटल ऑडियो वर्कस्टेशन के लिए प्लगइन्स बना रहे हैं, ताकि आप अपने स्ट्रीमिंग या प्रोडक्शन सॉफ्टवेयर से बाहर जाए बिना नए साउंड्स बना सकें। हम मॉडल को म्यूजिक से जुड़े प्रॉम्प्ट्स के लिए भी बेहतर कर रहे हैं—जैसे अलग-अलग परकशन या सिंथ टेक्सचर।

अगर आपने कुछ मज़ेदार बनाया, तो हमें जरूर दिखाएं। सोशल मीडिया पर हमें टैग करें या अपना प्रीसेट लिंक शेयर करें। चाहे आप स्ट्रीमर हों, पॉडकास्टर, गेम डेवलपर, या बस साउंड के साथ खेलने का शौक रखते हों—SB1 और SFX API से आपकी ऑडियो क्रिएटिविटी की कोई सीमा नहीं।

आज ही मुफ़्त में आज़माएं — MP3 लाइब्रेरी की जरूरत नहीं।