Scribe v3 Live Medical 助力对话式智能体准确捕捉临床细节
- 发布时间
语音智能体会根据实时通话中听到的内容采取行动。患者说自己服用西格列汀治疗糖尿病时,智能体可以将其添加到用药清单,供临床医生审核。但药物名称很容易被听错。在测试中,我们发现某个语音模型将西格列汀转写为抗抑郁药西酞普兰。对许多人来说,这类通话是联系医疗团队的第一步,智能体只有准确听懂,才能提供帮助。
今天,ElevenLabs 推出 Scribe v3 Live Medical,将医疗转写带入实时通话。它基于我们最新的实时Scribe v3 Live文本转语音模型打造,并针对临床语言进行了优化。现已在 ElevenAgents 中提供。
为什么实时通话需要医疗转写
ElevenLabs 已为录制音频提供医疗转写服务,例如口述内容和就诊录音。但医疗团队构建的许多服务都需实时运行,包括预约安排、医疗信息热线、电话资格核验和理赔跟进。这些通话无法等录音结束。
日常对话很少提到药物名称和剂量,因此通用实时模型更容易转写出错。Scribe v3 Live Medical 是我们首个为智能体打造的医疗转写模型,将Scribe v2 Medical对临床内容的专注带入实时对话。在公开模拟实时医生问诊数据集 PriMock57 的测试中,Scribe v3 Live Medical 的错误数低于我们评估的所有其他医疗模型。
临床细节至关重要的通话
Scribe v3 Live Medical 专为临床细节丰富的患者、会员和医疗服务提供者通话而设计,例如初诊登记时的用药、事前授权中的医疗程序,或随访通话中的症状。许多医疗智能体也会处理完全不涉及临床细节的通话,例如改约或咨询门诊时间。Scribe v3 Live Medical 提高临床细节的准确性,同时保持日常语音的准确性,因此团队可将其用于每一通电话。
临床对话工具
最多加载 10,000 个自定义术语
医疗团队最多可添加 10,000 个自定义术语,只有当来电者似乎说出了其中某个术语时,Scribe v3 Live Medical 才会参考该列表。这足以让区域医疗系统加载所有地点的医疗服务提供者和诊所名称,或让制药公司按品牌名和通用名加载完整产品组合。加载自定义术语列表后,Scribe v3 Live Medical 在测试中对医疗术语的错误最多减少了 48%。
等待来电者说完
来电者通常会分段读出会员 ID 或出生日期,在卡片上查找时会在每组数字之间停顿。若智能体将每次停顿都视为一轮对话结束,就会在数字尚未读完时插话,来电者不得不重新开始。Scribe v3 Live Medical 能识别尚未读完的数字,因此智能体会等来电者说完再回复。
跨语言跟随患者
患者和照护者可能会在通话中切换语言,例如用母语更轻松地描述症状。Scribe v3 Live Medical 支持超过 90 种语言,并能跟随这种切换,因此第二语言的语音会被转写,而不会被遗漏。
医疗团队的实际体验
团队已经开始使用 Scribe v3 Live Medical 构建智能体。
辉瑞数字战略与创新总监 Idin Jafari 表示:“Eleven v4 Turbo 与 Scribe v3 Live Medical 带来的交互体验非常出色。智能体的声音很自然,对我们对话中出现的品牌名和通用名识别也更准确。”
在患者通话中,这种准确性也会延续到医疗团队在通话后审核的内容。
Vintage Labs AI 创始人兼 COO Shantanu Ghorai 表示:“ElevenLabs 不断提高标准,让 Vintage Labs 能够更快推进。我们的 VIA 平台为大型学术医疗系统提供术前和术后通话服务。借助 Scribe v3 Live Medical,它能更好地理解患者:他们的用药、医疗程序和医生姓名。轮次检测会在患者说完出生日期后再回复;当来电者切换到西班牙语时,多语言模式也能跟上。护士现在无需回放录音,就能信赖通话摘要。”
我们如何评估 Scribe v3 Live Medical
我们在相同录音上,将 Scribe v3 Live Medical 与领先服务商提供的实时文本转语音模型进行测试,其中包括专业医疗模型和通用模型。我们使用了两个公开的医患对话基准数据集,比较 Scribe v3 Live Medical 与 Scribe v3 Live 在医疗和日常语音上的表现,并测试了英语、法语和德语的医疗术语。除非另有说明,结果均为英语。
我们报告词错误率(WER),即转写错误的词语占比;以及语义 WER,仅统计改变含义的错误。语义 WER 将“20 mg”和“二十毫克”视为匹配,因此得分低于 WER。
注:这些结果来自 ElevenLabs 对部分服务商实时模式的内部测试,每个模型均采用其最佳可用配置。测试未涵盖所有可用模型。
初级保健问诊(PriMock57)
PriMock57 包含 57 段模拟的实时初级保健问诊,每段约 9 分钟,由临床医生和扮演患者的演员进行。双方对话均未使用脚本。演员根据涵盖症状、病史和当前用药的病例卡进行演绎,临床医生则像在真实问诊中一样开展每次问诊。这些通话通过远程医疗软件进行:临床医生使用笔记本电脑,患者使用手机,环境为有背景噪声的办公室。
我们使用该基准,是因为它包含患者通话难以转写的关键因素:无脚本的往返对话、带背景噪声的电话音频,以及密集的临床细节。在我们测试的医疗模型中,Scribe v3 Live Medical 的 WER 最低(12.8%),错误比第二名少 17%。

患者访谈(Fareez OSCE)
Fareez OSCE 包含 272 段录制的患者访谈,采用医学院用于测试临床技能的客观结构化临床考试(OSCE)形式。每段访谈中,住院医师或高年级医学生都会向扮演患者的人询问其症状和病史。该数据集由另一支团队在另一个国家录制,因此可检验结果在新说话人、录音设置和条件下是否依然成立。在我们测试的医疗模型中,Scribe v3 Live Medical 的语义 WER 最低(0.6%)。

与 Scribe v3 Live 对比
Eka Medical ASR 包含超过 3,600 段来自医生和医学生的英语录音,重点涵盖医疗术语和品牌药物名称。Scribe v3 Live Medical 在 Eka Medical ASR 上的错误比 Scribe v3 Live 少 4.7%(语义 WER 为 11% 对 11.54%)。
模型
Eka Medical ASR(语义 WER)
Scribe v3 Live Medical
11%
Scribe v3 Live
11.54%
日常语音(Common Voice 和 FLEURS)
Common Voice 是 Mozilla 收集的志愿者朗读句子数据集,FLEURS 是 Google 收集的以超过 100 种语言朗读的非临床短句数据集。我们在两者的英语数据集上进行评分,确保使用 Scribe v3 Live Medical 的团队不会牺牲日常语音的准确性。即使一句话提及药物,其大部分仍是日常词语,因此医疗模型必须两者兼顾。
Scribe v3 Live Medical 在这两个数据集上的表现与 Scribe v3 Live 大致相同。

跨语言医疗准确性(MED-Term)
许多医疗团队为使用多种语言的患者提供服务。Corti 推出的公开基准 MED-Term 包含英语、法语和德语的临床病例口述描述,每段都围绕罕见且专业的医疗术语构建。我们用它检验 Scribe v3 Live Medical 如何处理英语以外的临床词汇。其语义 WER 在英语中为 2.24%,德语中为 2.81%,法语中为 3.24%。
语言
语义 WER(MED-Term)
英语
2.24%
德语
2.81%
法语
3.24%
实时通话中的低延迟
在实时通话中,智能体必须拿到转写结果才能回复,因此任何转写延迟都会变成来电者能听到的停顿。Scribe v3 Live 约在 150 毫秒内完成语音转写;测试表明,Scribe v3 Live Medical 也达到了相同延迟,因此其临床专注能力不会带来明显延迟。
更少错误对医疗团队意味着什么
在真实通话中,错误率更容易理解。一通 10 分钟的初诊登记电话,来电者与智能体之间大约会交流 1,500 个词。按上述 PriMock57 错误率计算,Scribe v3 Live Medical 比我们测试的下一最佳医疗模型能多正确识别约 40 个词。对于每天处理 1,000 通电话的团队,这意味着每天能多正确转写约 40,000 个词。并非每个词都同样重要。漏掉一个“嗯”无关紧要;但听错药物名称会让续方申请中出现错误药物,而会员 ID 中错一个数字则会使资格核验停滞。这两种情况都可能导致回电、转接给工作人员,或要求患者重复说明。
保护健康信息
医疗智能体会在许多通话中听到受保护健康信息(PHI),包括姓名、出生日期、会员 ID、用药和症状。对于已签订业务伙伴协议(BAA)并启用零保留模式的企业客户,Scribe v3 Live Medical 符合 HIPAA 适用条件。
Scribe v3 Live Medical 运行于 ElevenAgents,并受我们的合规计划覆盖,其中包括 SOC 2 Type II、ISO 27001 和 PCI DSS Level 1。患者数据默认存储在美国。需要在美国境外存储数据的企业团队,可使用位于欧盟、印度或新加坡的隔离环境。
开始使用
Scribe v3 Live Medical 现已在 ElevenAgents 中推出。
前往“设置”>“自动语音识别”,然后从模型下拉菜单中选择它。
John is on the ElevenAgents growth team, with a focus on the healthcare industry.





