LiveAvatar | ElevenLabs Documentation

परिचय

LiveAvatar इंटीग्रेशन, इंटरैक्टिव अवतार अनुभव बनाने के लिए ElevenAgents को HeyGen के LiveAvatar प्लैटफ़ॉर्म से जोड़ता है। यह इंटीग्रेशन ElevenLabs Agents (जो ऑडियो इंटरैक्शन संभालता है) को LiveAvatar की रियल-टाइम अवतार वीडियो स्ट्रीमिंग के साथ मिलाता है, जिससे AI अवतारों के साथ कम-लेटेंसी वाली विज़ुअल बातचीत संभव होती है।

इस इंटीग्रेशन से आप:

विज़ुअल अवतार प्रतिनिधित्व के साथ कन्वर्सेशनल AI एजेंट डिप्लॉय कर सकते हैं
जीवंत अवतारों के साथ इंटरैक्टिव कस्टमर सर्विस अनुभव बना सकते हैं
वेबसाइटों और ऐप्लिकेशन के लिए आकर्षक वर्चुअल असिस्टेंट बना सकते हैं

यह कैसे काम करता है

यह इंटीग्रेशन LiveAvatar के LITE सेशन मोड का उपयोग करता है, जिसमें दोनों प्लैटफ़ॉर्म की ज़िम्मेदारियां अलग-अलग होती हैं:

ElevenLabs: ऑडियो इनपुट और आउटपुट की स्ट्रीमिंग और ऑर्केस्ट्रेशन संभालता है
LiveAvatar: अवतार रेंडरिंग और रियल-टाइम वीडियो स्ट्रीमिंग मैनेज करता है

जब ElevenAgents कॉन्फ़िगरेशन के साथ LITE मोड सेशन शुरू होता है, तो LiveAvatar एक वर्कर भेजता है जो आपके ElevenLabs एजेंट से कनेक्ट होता है। एजेंट का ऑडियो आउटपुट रियल-टाइम में अवतार के लिप सिंक और ऐनिमेशन को चलाता है।

ज़रूरी शर्तें

इंटीग्रेशन सेट अप करने से पहले, सुनिश्चित करें कि आपके पास ये चीज़ें हैं:

API एक्सेस वाला ElevenLabs अकाउंट
API एक्सेस वाला HeyGen LiveAvatar अकाउंट
एक ElevenLabs एजेंट (क्विकस्टार्ट गाइड के अनुसार बनाएं)

ElevenLabs Agent में ऑडियो इनपुट और आउटपुट फ़ॉर्मैट PCM 24000 Hz पर सेट होना चाहिए। इसे Voice settings > TTS output formats और Advanced > User input audio format में सेट किया जा सकता है।

सेटअप

अपने ElevenLabs क्रेडेंशियल्स पाएं

आपको अपने ElevenLabs अकाउंट से दो चीज़ें चाहिए:

Agent ID: Agents Platform > Agents पर जाएं और उस एजेंट की ID कॉपी करें जिसका आप इस्तेमाल करना चाहते हैं
API Key: Settings > API Keys पर जाएं और नई API कुंजी बनाएं (या मौजूदा कुंजी का इस्तेमाल करें)

API कुंजी में convai_read, user_read, और voices_read परमिशन होने चाहिए।

अपनी ElevenLabs API कुंजी को LiveAvatar के साथ रजिस्टर करें

LiveAvatar के लिए आपकी ElevenLabs API कुंजी को उनके secrets एंडपॉइंट के ज़रिए रजिस्टर करना ज़रूरी है। यह रजिस्ट्रेशन Amazon KMS का उपयोग करके आपकी कुंजी को एन्क्रिप्ट करता है और सेशन में उपयोग के लिए secret_id लौटाता है।

LiveAvatar के secrets एंडपॉइंट पर POST रिक्वेस्ट भेजें:

curl -X POST "https://api.liveavatar.com/v1/secrets" \
  -H "Content-Type: application/json" \
  -H "X-Api-Key: <your_heygen_api_key>" \
  -d '{
    "secret_type": "ELEVENLABS_API_KEY",
    "secret_value": "<your_secret_value>",
    "secret_name": "<your_secret_name>"
  }'

रिस्पॉन्स में आपका secret_id होता है। सेशन शुरू करते समय इस्तेमाल के लिए इस secret_id को सेव कर लें।

LiveAvatar सेशन शुरू करें

LiveAvatar सेशन शुरू करते समय LITE मोड का उपयोग करें और अपना ElevenAgents कॉन्फ़िगरेशन शामिल करें:

{
  "mode": "LITE",
  "elevenlabs_agent_config": {
    "secret_id": "xxxxxxxxxxxxxxxx",
    "agent_id": "agent_xxxxxxxxxxxxxxxx"
  },
  "avatar_id": "xxxxx"
}

सेशन मैनेजमेंट की पूरी जानकारी के लिए LiveAvatar सेशन API दस्तावेज़ देखें।

इवेंट और कॉलबैक

यह इंटीग्रेशन LiveKit रूम्स के ज़रिए इवेंट डिलीवर करता है और LiveAvatar के FULL मोड जैसी ही इवेंट संरचना का उपयोग करता है। इससे आप:

बातचीत की स्थिति में होने वाले बदलावों को मॉनिटर कर सकते हैं
एजेंट के बोलने और सुनने के मोड ट्रैक कर सकते हैं
कनेक्शन और डिस्कनेक्शन इवेंट संभाल सकते हैं
ट्रांसक्रिप्शन और एजेंट रिस्पॉन्स प्रोसेस कर सकते हैं

अपने इवेंट हैंडलर को LiveAvatar इवेंट्स दस्तावेज़ के अनुसार कॉन्फ़िगर करें।

बिलिंग

इस इंटीग्रेशन में दोनों प्लैटफ़ॉर्म की अलग-अलग बिलिंग शामिल है:

कॉम्पोनेंट	बिलिंग
LiveAvatar (अवतार वीडियो)	हर सेशन मिनट के लिए 1 क्रेडिट
ElevenLabs (कन्वर्सेशनल AI)	आपके सब्सक्रिप्शन प्लान के अनुसार आपके ElevenLabs अकाउंट से बिल किया जाता है

अवतार स्ट्रीमिंग के लिए केवल वीडियो कॉम्पोनेंट का बिल लिया जाता है, जबकि एजेंट्स के सभी उपयोग (ऑडियो और LLM) का शुल्क आपके ElevenLabs अकाउंट से अलग से लिया जाता है।