Eleven Realtime पेश है: प्राकृतिक वॉइस एजेंट बनाने का आसान तरीका

आज प्राकृतिक लगने वाला वॉइस एजेंट बनाने के लिए कई फैसले लेने पड़ते हैं। आपको स्पीच रिकग्निशन, वॉइस एक्टिविटी डिटेक्शन, टर्न-टेकिंग, मूल LLM और टेक्स्ट टू स्पीच जैसे अलग-अलग कंपोनेंट्स चुनने होते हैं। यह स्टैक बनाना अपने-आप में एक प्रोजेक्ट है, और सभी कंपोनेंट्स को साथ में बेहतर तरीके से काम कराने के लिए ज़्यादा टेस्टिंग और ट्यूनिंग की ज़रूरत होती है।

Eleven Realtime स्पीच टू स्पीच मॉडल्स की एक नई श्रेणी है, जो इन मुश्किलों को दूर करती है। हर मॉडल एक संपूर्ण वॉइस एजेंट है, जिसे अलग-अलग उपयोग के मामलों के लिए ऑप्टिमाइज़ किया गया है। दोनों 90 से ज़्यादा भाषाओं को सपोर्ट करते हैं और ElevenLabs लाइब्रेरी की 17,000+ वॉइसेज़ में से कोई भी वॉइस इस्तेमाल कर सकते हैं:

आज हम लॉन्च कर रहे हैं:

• Eleven Realtime v1 Mini कम लागत में प्राकृतिक बातचीत के लिए। यह AI असिस्टेंट्स, शिक्षकों और इंटरैक्टिव किरदारों के लिए सबसे अच्छा विकल्प है, और ज़्यादातर उपयोग के मामलों के लिए पर्याप्त होगा।
• Eleven Realtime v1 Max जटिल कार्यों के लिए। यह कस्टमर सपोर्ट, लीड क्वालिफिकेशन और कई चरणों वाले वर्कफ़्लो के लिए आदर्श है, जहाँ एजेंट को एक प्रक्रिया का पालन करना और चरणों के आधार पर तर्क करना होता है।

हमने रीयलटाइम मॉडल्स क्यों बनाए

प्राकृतिक लगने वाला वॉइस एजेंट बनाने के लिए आपको कॉन्फ़िगरेशन एक्सपर्ट बनने की ज़रूरत नहीं होनी चाहिए। किसी एजेंट का सही महसूस होना और सुनाई देना बारीक समझ वाले छोटे फैसलों पर निर्भर करता है—जैसे जवाब देने से पहले विराम के बाद कितनी देर इंतज़ार करना है, यूज़र के एजेंट को बीच में रोकने पर कैसे संभलना है, और वॉइस, प्रॉम्प्ट्स और मॉडल मिलकर कैसे काम करते हैं। ElevenAgents में आप इन सभी सेटिंग्स को एडजस्ट कर सकते हैं।

यही बात उन डेवलपर्स पर भी लागू होती है जो पहले से रीयलटाइम API का इस्तेमाल कर रहे हैं। हमारा API OpenAI के Realtime API के साथ संगत है, इसलिए Eleven Realtime आज़माने के लिए आपको अपने मौजूदा कोड में बस एंडपॉइंट और मॉडल का नाम बदलना है।

इनका प्रदर्शन कैसा है

Artificial Analysis ने तीन सार्वजनिक बेंचमार्क्स पर दोनों मॉडल्स का स्वतंत्र रूप से मूल्यांकन किया: स्पीच रीजनिंग के लिए Big Bench Audio, बातचीत की गतिशीलता के लिए Full-Duplex-Bench और मानवीय पसंद व टास्क सफलता के लिए Speech Agent Arena।

स्पीच रीजनिंग

Big Bench Audio वॉइस के ज़रिए 1,000 रीजनिंग प्रश्न पूछता है और बोले गए जवाब को स्कोर करता है। Realtime v1 Max ने 98.8% प्रश्नों के सही जवाब दिए, जबकि v1 Mini ने 75.9% के।

गति

Big Bench Audio वॉइस के ज़रिए 1,000 रीजनिंग प्रश्न पूछता है और बोले गए जवाब को स्कोर करता है। V1 Max औसतन 0.57 सेकंड में बोलना शुरू करता है और v1 Mini 0.62 सेकंड में।

सटीकता और गति के लिए पैरेटो फ्रंटियर

सटीकता और गति को आमतौर पर एक समझौते के रूप में देखा जाता है। Big Bench Audio पर सबसे ज़्यादा स्कोर करने वाले मॉडल्स जवाब देने में सबसे ज़्यादा समय लेते हैं, और सबसे तेज़ मॉडल्स सटीकता में काफी समझौता करते हैं। v1 Max इन दोनों मेट्रिक्स में बेहतरीन है।

बातचीत की गतिशीलता और मानवीय पसंद

Full-Duplex-Bench में, जो विराम, टर्न-टेकिंग, बीच में रोकने और बैकचैनल्स को टेस्ट करता है, v1 Mini का स्कोर 95.8% और v1 Max का 94.1% है। Speech Agent Arena में, जहाँ लोग ब्लाइंड लाइव बातचीत में दो मॉडल्स की तुलना करते हैं, v1 Max ने 998 और v1 Mini ने 988 स्कोर किया। टूल-यूज़ कार्यों में v1 Max ने 87.1% और v1 Mini ने 60.3% पूरे किए, इसलिए जिन उपयोग के मामलों में टूल कॉलिंग ज़्यादा होती है, उनके लिए हम Max की सलाह देते हैं।

शुरू करें

ElevenAgents में (अनुशंसित)

एक एजेंट बनाएं या किसी मौजूदा एजेंट को खोलें, और ड्रॉपडाउन से एक Realtime मॉडल चुनें। इसके बाद, प्रोडक्शन में एजेंट चलाने के लिए ElevenAgents की सभी सुविधाएँ आपके पास होती हैं। इनमें फ़ोन, वेब, WhatsApp और CCaaS चैनल्स, वर्कफ़्लो, नॉलेज बेस, गार्डरेल्स, टेस्टिंग और मॉनिटरिंग शामिल हैं।

ज़्यादा जानकारी के लिए ElevenAgents डॉक्यूमेंटेशन देखें।

Realtime API के ज़रिए

अगर आपके पास पहले से OpenAI के Realtime API के साथ इंटीग्रेशन है, तो Eleven Realtime आज़माने का सबसे तेज़ तरीका है अपना कोड वैसा ही रखना और उसका पॉइंट करने का स्थान बदलना। Realtime API, WebSocket पर कनेक्ट होता है और OpenAI Realtime स्पेसिफिकेशन्स का पालन करता है, इसलिए OpenAI का SDK बिना बदलाव के काम करता है।

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime API केवल WebSocket पर कनेक्ट होता है, इसलिए WebRTC इंटीग्रेशन को पहले WebSocket पर ले जाना होगा। यह ElevenAgents से अलग भी चलता है, इसलिए अगर आपको चैनल्स, नॉलेज बेस या अन्य प्लेटफ़ॉर्म सुविधाएँ चाहिए, तो शुरुआत से ElevenAgents पर बनाएं।

माइग्रेशन गाइड में OpenAI के API से अंतर और आवश्यक चरणों की जानकारी दी गई है।