स्पीच इंजन
ElevenLabs के साथ अपने चैट एजेंट या LLM में आवाज़ जोड़ें।
परिचय
ElevenLabs स्पीच इंजन किसी भी चैट एजेंट में वॉइस क्षमताएं जोड़ता है। ElevenLabs स्पीच टू टेक्स्ट और टेक्स्ट टू स्पीच संभालता है, जबकि आपका सर्वर LLM लॉजिक देता है। SDK कनेक्शन लाइफसाइकल, टर्न-टेकिंग और इंटरप्शन डिटेक्शन को मैनेज करता है, ताकि आप अपने एजेंट के व्यवहार पर ध्यान दे सकें।
यह कैसे काम करता है
स्पीच इंजन WebSocket के ज़रिए आपके सर्वर को ElevenLabs से जोड़ता है। हर कनेक्शन एक बातचीत को दर्शाता है।
- यूज़र ब्राउज़र में बोलता है। ElevenLabs ऑडियो कैप्चर करके उसे ट्रांसक्राइब करता है।
- पूरी बातचीत की हिस्ट्री के साथ ट्रांसक्रिप्ट आपके सर्वर को भेजा जाता है।
- आपका सर्वर ट्रांसक्रिप्ट को आपके LLM तक भेजता है और रिस्पॉन्स को वापस स्ट्रीम करता है।
- ElevenLabs टेक्स्ट को स्पीच में बदलकर ब्राउज़र में चलाता है।
स्पीच इंजन का इस्तेमाल कब करें
स्पीच इंजन उन डेवलपर्स के लिए बनाया गया है जो अपना LLM इस्तेमाल करना और अपने सर्वर पर बातचीत के लॉजिक को नियंत्रित करना चाहते हैं। इसका इस्तेमाल तब करें, जब आपको:
- मौजूदा टेक्स्ट-आधारित चैट एजेंट में आवाज़ जोड़नी हो
- किसी खास LLM, फाइन-ट्यून्ड मॉडल या कस्टम इन्फरेंस पाइपलाइन का इस्तेमाल करना हो
- बातचीत की रूटिंग, कॉन्टेक्स्ट मैनेजमेंट और टूल कॉलिंग पर पूरा नियंत्रण रखना हो
- किसी मौजूदा सर्वर एप्लिकेशन (Express, FastAPI आदि) में आवाज़ इंटीग्रेट करनी हो
अगर आप पूरी तरह होस्टेड समाधान चाहते हैं, जिसमें ElevenLabs LLM, नॉलेज बेस और टूल्स देता है, तो ElevenAgents इस्तेमाल करें।
मुख्य सुविधाएं
- कोई भी LLM - OpenAI, Anthropic, Google Gemini या टेक्स्ट जनरेट करने वाला कोई भी मॉडल इस्तेमाल करें। SDK, OpenAI, Anthropic और Gemini स्ट्रीम फ़ॉर्मैट से टेक्स्ट अपने-आप निकाल लेता है।
- इंटरप्शन हैंडलिंग - जब यूज़र रिस्पॉन्स के बीच में बोलता है, तो SDK
AbortSignal(TypeScript) या टास्क कैंसलेशन (Python) के ज़रिए चल रहे LLM रिक्वेस्ट को अपने-आप रद्द कर देता है। - स्ट्रीमिंग - रिस्पॉन्स जनरेट होते ही ब्राउज़र पर स्ट्रीम किए जाते हैं। स्ट्रिंग, async iterable या नेटिव LLM स्ट्रीम ऑब्जेक्ट पास करें।
- टर्न-टेकिंग - SDK बातचीत के टर्न मैनेज करता है, इसलिए आपके सर्वर को सिर्फ ट्रांसक्रिप्ट का जवाब देना होता है।
बातचीत की अवधि
स्पीच इंजन 40 मिनट (2,400 सेकंड) तक की बातचीत सपोर्ट करता है। डिफ़ॉल्ट रूप से,
बातचीत 600 सेकंड (10 मिनट) बाद समाप्त हो जाती है। लंबी बातचीत की अनुमति देने के लिए, API में
conversation.max_duration_seconds बढ़ाएं या डैशबोर्ड के Advanced टैब में
Max conversation duration बढ़ाएं। देखें
अधिकतम बातचीत अवधि कॉन्फ़िगर करना।
अगर आपको 40 मिनट से लंबी बातचीत चाहिए, तो हमारी टीम से संपर्क करें।
IP अलाउलिस्टिंग
अगर आपका सर्वर फ़ायरवॉल के पीछे है या IP-आधारित एक्सेस कंट्रोल इस्तेमाल करता है, तो आप उन स्टैटिक एग्रेस IP को अलाउलिस्ट कर सकते हैं, जिनसे ElevenLabs WebSocket कनेक्शन शुरू होते हैं। IP पतों की पूरी सूची के लिए IP अलाउलिस्टिंग देखें।
IP अलाउलिस्टिंग का इस्तेमाल करने से आपका सर्वर सिर्फ ElevenLabs के सिस्टम से आने वाले WebSocket कनेक्शन स्वीकार करता है।
FAQ
कौन से LLM सपोर्ट किए जाते हैं?
टेक्स्ट जनरेट करने वाला कोई भी LLM। SDK में OpenAI (Responses API और Chat Completions API), Anthropic Messages API और Google Gemini API के लिए बिल्ट-इन स्ट्रीम एक्सट्रैक्शन है। अन्य प्रोवाइडर्स के लिए, सादा स्ट्रिंग या स्ट्रिंग चंक्स का async iterable पास करें।
स्पीच इंजन और ElevenAgents में क्या अंतर है?
ElevenAgents पूरी तरह होस्टेड प्लेटफ़ॉर्म है, जिसमें ElevenLabs LLM, नॉलेज बेस और टूल्स देता है। स्पीच इंजन उन डेवलपर्स के लिए है जो अपना LLM इस्तेमाल करना और अपने सर्वर पर बातचीत के लॉजिक को नियंत्रित करना चाहते हैं।
कौन से सर्वर फ़्रेमवर्क सपोर्ट किए जाते हैं?
TypeScript में, आप स्पीच इंजन को किसी भी Node.js HTTP सर्वर (Express, Fastify या
सादे http.createServer()) से अटैच कर सकते हैं, या स्टैंडअलोन WebSocket सर्वर चला सकते हैं। Python में, SDK
engine.serve() के ज़रिए स्टैंडअलोन सर्वर देता है, या आप FastAPI, Starlette या किसी भी
ASGI फ़्रेमवर्क के साथ engine.create_session() इस्तेमाल करके इंटीग्रेट कर सकते हैं।