पेश है Eleven v4पेश है Eleven v4, हमारा अब तक का सबसे भावपूर्ण मॉडल। 12 अक्टूबर तक Creator+ के साथ 3 गुना क्रेडिट शामिल हैं

कंटेंट पर जाएं

Scribe v2 Medical अब सभी के लिए उपलब्ध है

लेखक
Min Kim
प्रकाशित
आखिरी बार अपडेट किया गया

सुनेंइस आर्टिकल को सुनें

सटीक स्पीच रिकग्निशन के लिए क्लिनिकल ऑडियो सबसे कठिन परीक्षणों में से एक है। दवाओं के नाम लंबे, दुर्लभ और आसानी से गड़बड़ हो जाने वाले होते हैं (hydroxyzine और hydralazine में सिर्फ़ एक गलत सुना गया शब्दांश का अंतर है)। शब्दावली बहुत सघन होती है, जिसमें डोज़, यूनिट, एनाटॉमी और पैथोलॉजी के शब्द तेज़ी से लगातार आ सकते हैं। दांव भी बड़े होते हैं, क्योंकि ट्रांसक्रिप्शन की कोई गलती मरीज़ के चार्ट में दर्ज हो सकती है।

इसीलिए ElevenLabs आज जारी कर रहा है Scribe v2 Medical, हमारा क्लिनिकल ऑडियो के लिए फाइन-ट्यून्ड स्पीच टू टेक्स्ट मॉडल, जो अब ElevenAPI पर सभी के लिए उपलब्ध है। नीचे दिए गए मूल्यांकनों में, तुलना किए गए मॉडलों में इसका वर्ड एरर रेट (WER) लगातार सबसे कम में से एक रहा और हमारे बेस Scribe v2 मॉडल की तुलना में क्लिनिकल ऑडियो पर WER को लगभग 35% कम करता है।

जनरल-पर्पज़ मॉडल रोज़मर्रा की बातचीत संभालने में बेहतरीन हैं, लेकिन जहाँ क्लिनिकल वर्कफ़्लो को उनकी सबसे ज़्यादा ज़रूरत होती है, वहाँ उनका प्रदर्शन कमज़ोर हो सकता है। हमने सार्वजनिक बेंचमार्क्स पर दवाओं के नामों और क्लिनिकल डिक्टेशन पर केंद्रित Scribe v2 का मेडिकल फाइन-ट्यून तैयार किया, जिसे कोई भी दोहरा सकता है।

Scribe v2 Medical क्लिनिकल उपयोग के मामलों के लिए ऑप्टिमाइज़ किया गया है

क्लिनिकल डिक्टेशन (MedDictate)

Corti का MedDictate डिक्टेट किए गए क्लिनिकल नोट्स के ट्रांसक्रिप्शन का परीक्षण करता है, जिनमें अंग्रेज़ी, फ़्रेंच और जर्मन में लगातार दवाओं के नाम, डोज़ और यूनिट शामिल होते हैं। हमारे मूल्यांकन में, Scribe v2 Medical ने परीक्षण किए गए मॉडलों में सबसे कम ओवरऑल WER दर्ज किया और बेस Scribe v2 की तुलना में लगभग 35% कम WER पाया।

मॉडल

EN

FR

DE

कुल WER

Scribe v2 Medical

3.0%

8.3%

7.2%

4.9%

OpenAI GPT Transcribe

3.9%

7.8%

9.6%

5.9%

Scribe v2 (बेस)

5.0%

10.7%

11.7%

7.6%

Muse Voice Transcribe 1.0

4.5%

11.0%

13.3%

7.8%

Deepgram Nova-3 Medical*

5.5%

-

-

-

*केवल अंग्रेज़ी (24 क्लिप) - Deepgram Nova-3 Medical फ़्रेंच या जर्मन को सपोर्ट नहीं करता।

मेडिकल टर्मिनोलॉजी (MedTerm)

MedTerm भी Corti द्वारा प्रकाशित डेटासेट है। इसमें इन्हीं तीन भाषाओं में 600 सैंपल का क्लिनिकल टर्मिनोलॉजी बेंचमार्क शामिल है, जिसमें हर सैंपल के मेडिकल शब्द एनोटेट किए गए हैं। इस एनोटेशन से पूरे ट्रांसक्रिप्ट के WER के अलावा दो अन्य आयामों पर मॉडल स्कोर करना संभव होता है। टर्म रिकॉल, एनोटेट किए गए उन मेडिकल शब्दों का प्रतिशत है जो ट्रांसक्रिप्ट में सही रूप से आते हैं (ज़्यादा बेहतर है)। टर्म-WER सिर्फ़ इन शब्दों की एरर रेट है, जिसमें उनके आसपास की सामान्य बातचीत को शामिल नहीं किया जाता (कम बेहतर है)।

Scribe v2 Medical ने इन दोनों आयामों में परीक्षण किए गए सभी मॉडलों को पीछे छोड़ा और तीनों भाषाओं में हर दूसरे प्रदाता से आगे रहा:

मॉडल

टर्म रिकॉल ↑

टर्म-WER ↓

Scribe v2 Medical

77.7%

10.4%

Scribe v2 (बेस)

77.1%

10.7%

OpenAI GPT Transcribe

74.0%

12.3%

Muse Voice Transcribe 1.0

73.4%

12.9%

Deepgram Nova-3 Medical*

72.5%

13.6%

Eka Medical ASR बेंचमार्क

Eka Medical ASR बेंचमार्क में 3,619 अंग्रेज़ी क्लिनिकल ऑडियो सैंपल हैं — अलग-अलग दवा और बीमारी के नामों, क्लिनिकल वाक्यों और चिकित्सकों व मरीज़ों के बीच बातचीत के रूप में — जिनमें हर टर्म के एनोटेशन और डेटासेट कार्ड पर प्रकाशित लीडरबोर्ड शामिल हैं।

क्योंकि प्रकाशित डेटासेट में Gemini 2.5 Flash और GPT-4o जैसे पुराने मॉडल शामिल हैं, हमने नए मॉडलों के साथ मूल्यांकन किया। SemWER (सेमांटिक WER) यह स्कोर करता है कि मॉडल ने फ़ॉर्मैटिंग की परवाह किए बिना सही सामग्री सुनी या नहीं ("mg" और "milligrams" को एक ही उत्तर माना जाता है), और kwWER (कीवर्ड WER) यही स्कोरिंग सिर्फ़ एनोटेट किए गए मेडिकल कीवर्ड्स पर लागू करता है।

मॉडल

semWER

kwWER

Scribe v2 Medical

6.50%

6.02%

Scribe v2 (बेस)

7.35%

7.04%

Deepgram Nova-3 Medical

7.79%

7.65%

Muse Voice Transcribe 1.0

8.85%

8.99%

OpenAI GPT Transcribe

13.90%

13.20%

Eka हर सैंपल में मेडिकल शब्दों को एनोटेट करता है, जिससे सिर्फ़ मेडिकल शब्दों के स्तर पर बेस के मुकाबले Scribe v2 Medical की बढ़त को अधिक बारीकी से स्कोर करना संभव होता है। Scribe v2 Medical, बेस की तुलना में 15% कम गलतियाँ करता है (9.5% बनाम 11.1%), और यह बढ़त वहाँ सबसे ज़्यादा है जहाँ शब्द पूरे क्लिनिकल वाक्यों में आते हैं (7.5% बनाम 9.9%)।

Fine-tuning lowers medical term error rates overall and in clinical sentences, but not conversation.

इसी डेटा से एक चेतावनी यह भी मिलती है कि अलग-अलग एक-शब्द वाली क्लिप्स (बिना आसपास के संदर्भ के बोला गया केवल एक दवा का नाम) Scribe v2 Medical सहित लीडरबोर्ड के हर मॉडल के लिए सबसे कठिन मामला बनी रहती हैं। अलग-थलग शब्दों पर इसका WER 14.3% था, जबकि यही शब्द वाक्यों में आने पर 7.5% था। शून्य संदर्भ में, गलत सुना गया एक शब्दांश यादगार विफलताओं का कारण बन सकता है:

  • etodolac (एक NSAID) → "It'll do the luck"
  • levomilnacipran (एक एंटीडिप्रेसेंट) → "Leave me alone now, Sephora."
  • methdilazine (एक एंटीहिस्टामिन) → "Let's play our scene."

इन गलतियों को कम करने का एक तरीका है कीटर्म प्रॉम्प्टिंग, जिससे आप दवाओं के नामों या मेडिकल वाक्यांशों को हाइलाइट कर सकते हैं, ताकि मॉडल उन्हें सफलतापूर्वक ट्रांसक्राइब करने की ओर अधिक झुके।

प्रोडक्शन में ग्राहक

ग्राहक पहले से ही प्रोडक्शन में Scribe v2 Medical का इस्तेमाल कर रहे हैं और क्लिनिकल ऑडियो में सुधार देख रहे हैं।

“Deepgram से ElevenLabs Scribe v2 Medical पर स्विच करने के बाद, हमें क्लिनिकल टर्मिनोलॉजी में कहीं ज़्यादा सटीकता दिख रही है, और इससे टीम के काम करने का तरीका बदल गया है,” CareCo के सीईओ और संस्थापक Mendel Erlenwein ने कहा। “जब हमारे कोऑर्डिनेटर्स को ट्रांसक्रिप्ट पर भरोसा होता है, तो वे नोट्स सुधारने में कम समय और मरीज़ों से फ़ोन पर बात करने में ज़्यादा समय दे सकते हैं। हमारे मरीज़ जटिल उपचार योजनाओं पर हैं, और केयर टीम जो नोट पढ़ती है, उसका सही होना ज़रूरी है।”

सामान्य बातचीत में भी मज़बूत प्रदर्शन

टीम ने यह भी सत्यापित किया कि मेडिकल फाइन-ट्यून दूसरे क्षेत्रों में प्रदर्शन को कम नहीं करता। Common Voice से लिए गए रोज़मर्रा के, गैर-मेडिकल भाषण के 6,000 सैंपल पर, राउंड करने पर Scribe v2 Medical का स्कोर बेस Scribe v2 के बराबर है—दोनों मामलों में 5.3% WER। इसलिए v2 Medical के साथ आपको इस बेंचमार्क पर सटीकता से समझौता किए बिना एक विशेष मेडिकल मॉडल के फ़ायदे मिलते हैं।

संरक्षित स्वास्थ्य जानकारी के लिए बनाया गया

Scribe v2 Medical, Business Associate Agreements वाले एंटरप्राइज़ ग्राहकों के लिए HIPAA-eligible है और ज़ीरो रिटेंशन मोड (ZRM) सक्षम है।

स्पीच टू टेक्स्ट API अनुरोधों के लिए ZRM सक्षम होने पर, हर अनुरोध पूरा होते ही ऑडियो इनपुट और टेक्स्ट आउटपुट तुरंत हटा दिए जाते हैं। ElevenLabs इनमें से किसी को भी सुरक्षित नहीं रखता, और आपके ऐप्लिकेशन को पूरा API रिस्पॉन्स मिलता है तथा ट्रांसक्रिप्ट को रखने का नियंत्रण उसी के पास होता है।

शुरू करें

Scribe v2 Medical स्पीच टू टेक्स्ट API पर उपलब्ध है। बस नया मॉडल id पास करें: scribe_v2_medical

import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient({ apiKey: "YOUR_API_KEY" });

const fileData = await fs.promises.readFile("clinical_audio.mp3");

const transcription = await elevenlabs.speechToText.convert({
  file: new Blob([fileData], { type: "audio/mp3" });,
  modelId: "scribe_v2_medical",
});

console.log(transcription.text);

मॉडल बैच स्पीच टू टेक्स्ट एंडपॉइंट पर चलता है।

लेखक

संबंधित लेख

उच्चतम गुणवत्ता वाले AI ऑडियो के साथ बनाएं