推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

Scribe v3 Live Medical 助力对话式智能体准确捕捉临床细节

发布时间

收听收听本文

语音智能体会根据实时通话中听到的内容采取行动。患者说自己服用西格列汀治疗糖尿病时,智能体可以将其添加到用药清单,供临床医生审核。但药物名称很容易被听错。在测试中,我们发现某个语音模型将西格列汀转写为抗抑郁药西酞普兰。对许多人来说,这类通话是联系医疗团队的第一步,智能体只有准确听懂,才能提供帮助。

今天,ElevenLabs 推出 Scribe v3 Live Medical,将医疗转写带入实时通话。它基于我们最新的实时Scribe v3 Live文本转语音模型打造,并针对临床语言进行了优化。现已在 ElevenAgents 中提供。

为什么实时通话需要医疗转写

ElevenLabs 已为录制音频提供医疗转写服务,例如口述内容和就诊录音。但医疗团队构建的许多服务都需实时运行,包括预约安排、医疗信息热线、电话资格核验和理赔跟进。这些通话无法等录音结束。

日常对话很少提到药物名称和剂量,因此通用实时模型更容易转写出错。Scribe v3 Live Medical 是我们首个为智能体打造的医疗转写模型,将Scribe v2 Medical对临床内容的专注带入实时对话。在公开模拟实时医生问诊数据集 PriMock57 的测试中,Scribe v3 Live Medical 的错误数低于我们评估的所有其他医疗模型。

临床细节至关重要的通话

Scribe v3 Live Medical 专为临床细节丰富的患者、会员和医疗服务提供者通话而设计,例如初诊登记时的用药、事前授权中的医疗程序,或随访通话中的症状。许多医疗智能体也会处理完全不涉及临床细节的通话,例如改约或咨询门诊时间。Scribe v3 Live Medical 提高临床细节的准确性,同时保持日常语音的准确性,因此团队可将其用于每一通电话。

临床对话工具

最多加载 10,000 个自定义术语

医疗团队最多可添加 10,000 个自定义术语,只有当来电者似乎说出了其中某个术语时,Scribe v3 Live Medical 才会参考该列表。这足以让区域医疗系统加载所有地点的医疗服务提供者和诊所名称,或让制药公司按品牌名和通用名加载完整产品组合。加载自定义术语列表后,Scribe v3 Live Medical 在测试中对医疗术语的错误最多减少了 48%。

等待来电者说完

来电者通常会分段读出会员 ID 或出生日期,在卡片上查找时会在每组数字之间停顿。若智能体将每次停顿都视为一轮对话结束,就会在数字尚未读完时插话,来电者不得不重新开始。Scribe v3 Live Medical 能识别尚未读完的数字,因此智能体会等来电者说完再回复。

跨语言跟随患者

患者和照护者可能会在通话中切换语言,例如用母语更轻松地描述症状。Scribe v3 Live Medical 支持超过 90 种语言,并能跟随这种切换,因此第二语言的语音会被转写,而不会被遗漏。

医疗团队的实际体验

团队已经开始使用 Scribe v3 Live Medical 构建智能体。

辉瑞数字战略与创新总监 Idin Jafari 表示:“Eleven v4 Turbo 与 Scribe v3 Live Medical 带来的交互体验非常出色。智能体的声音很自然,对我们对话中出现的品牌名和通用名识别也更准确。”

在患者通话中,这种准确性也会延续到医疗团队在通话后审核的内容。

Vintage Labs AI 创始人兼 COO Shantanu Ghorai 表示:“ElevenLabs 不断提高标准,让 Vintage Labs 能够更快推进。我们的 VIA 平台为大型学术医疗系统提供术前和术后通话服务。借助 Scribe v3 Live Medical,它能更好地理解患者:他们的用药、医疗程序和医生姓名。轮次检测会在患者说完出生日期后再回复;当来电者切换到西班牙语时,多语言模式也能跟上。护士现在无需回放录音,就能信赖通话摘要。”

我们如何评估 Scribe v3 Live Medical

我们在相同录音上,将 Scribe v3 Live Medical 与领先服务商提供的实时文本转语音模型进行测试,其中包括专业医疗模型和通用模型。我们使用了两个公开的医患对话基准数据集,比较 Scribe v3 Live Medical 与 Scribe v3 Live 在医疗和日常语音上的表现,并测试了英语、法语和德语的医疗术语。除非另有说明,结果均为英语。

我们报告词错误率(WER),即转写错误的词语占比;以及语义 WER,仅统计改变含义的错误。语义 WER 将“20 mg”和“二十毫克”视为匹配,因此得分低于 WER。

注:这些结果来自 ElevenLabs 对部分服务商实时模式的内部测试,每个模型均采用其最佳可用配置。测试未涵盖所有可用模型。

初级保健问诊(PriMock57)

PriMock57 包含 57 段模拟的实时初级保健问诊,每段约 9 分钟,由临床医生和扮演患者的演员进行。双方对话均未使用脚本。演员根据涵盖症状、病史和当前用药的病例卡进行演绎,临床医生则像在真实问诊中一样开展每次问诊。这些通话通过远程医疗软件进行:临床医生使用笔记本电脑,患者使用手机,环境为有背景噪声的办公室。

我们使用该基准,是因为它包含患者通话难以转写的关键因素:无脚本的往返对话、带背景噪声的电话音频,以及密集的临床细节。在我们测试的医疗模型中,Scribe v3 Live Medical 的 WER 最低(12.8%),错误比第二名少 17%。

Scribe v3 Live Medical has the lowest WER at 12.8%, 17% below the next medical model.

患者访谈(Fareez OSCE)

Fareez OSCE 包含 272 段录制的患者访谈,采用医学院用于测试临床技能的客观结构化临床考试(OSCE)形式。每段访谈中,住院医师或高年级医学生都会向扮演患者的人询问其症状和病史。该数据集由另一支团队在另一个国家录制,因此可检验结果在新说话人、录音设置和条件下是否依然成立。在我们测试的医疗模型中,Scribe v3 Live Medical 的语义 WER 最低(0.6%)。

Fareez OSCE benchmark results

与 Scribe v3 Live 对比

Eka Medical ASR 包含超过 3,600 段来自医生和医学生的英语录音,重点涵盖医疗术语和品牌药物名称。Scribe v3 Live Medical 在 Eka Medical ASR 上的错误比 Scribe v3 Live 少 4.7%(语义 WER 为 11% 对 11.54%)。

模型

Eka Medical ASR(语义 WER)

Scribe v3 Live Medical

11%

Scribe v3 Live

11.54%

日常语音(Common Voice 和 FLEURS)

Common Voice 是 Mozilla 收集的志愿者朗读句子数据集,FLEURS 是 Google 收集的以超过 100 种语言朗读的非临床短句数据集。我们在两者的英语数据集上进行评分,确保使用 Scribe v3 Live Medical 的团队不会牺牲日常语音的准确性。即使一句话提及药物,其大部分仍是日常词语,因此医疗模型必须两者兼顾。

Scribe v3 Live Medical 在这两个数据集上的表现与 Scribe v3 Live 大致相同。

Scribe v3 Live Medical is nearly as accurate as Scribe v3 Live on Common Voice and FLEURS

跨语言医疗准确性(MED-Term)

许多医疗团队为使用多种语言的患者提供服务。Corti 推出的公开基准 MED-Term 包含英语、法语和德语的临床病例口述描述,每段都围绕罕见且专业的医疗术语构建。我们用它检验 Scribe v3 Live Medical 如何处理英语以外的临床词汇。其语义 WER 在英语中为 2.24%,德语中为 2.81%,法语中为 3.24%。

语言

语义 WER(MED-Term)

英语

2.24%

德语

2.81%

法语

3.24%

实时通话中的低延迟

在实时通话中,智能体必须拿到转写结果才能回复,因此任何转写延迟都会变成来电者能听到的停顿。Scribe v3 Live 约在 150 毫秒内完成语音转写;测试表明,Scribe v3 Live Medical 也达到了相同延迟,因此其临床专注能力不会带来明显延迟。

更少错误对医疗团队意味着什么

在真实通话中,错误率更容易理解。一通 10 分钟的初诊登记电话,来电者与智能体之间大约会交流 1,500 个词。按上述 PriMock57 错误率计算,Scribe v3 Live Medical 比我们测试的下一最佳医疗模型能多正确识别约 40 个词。对于每天处理 1,000 通电话的团队,这意味着每天能多正确转写约 40,000 个词。并非每个词都同样重要。漏掉一个“嗯”无关紧要;但听错药物名称会让续方申请中出现错误药物,而会员 ID 中错一个数字则会使资格核验停滞。这两种情况都可能导致回电、转接给工作人员,或要求患者重复说明。

保护健康信息

医疗智能体会在许多通话中听到受保护健康信息(PHI),包括姓名、出生日期、会员 ID、用药和症状。对于已签订业务伙伴协议(BAA)并启用零保留模式的企业客户,Scribe v3 Live Medical 符合 HIPAA 适用条件。

Scribe v3 Live Medical 运行于 ElevenAgents,并受我们的合规计划覆盖,其中包括 SOC 2 Type II、ISO 27001 和 PCI DSS Level 1。患者数据默认存储在美国。需要在美国境外存储数据的企业团队,可使用位于欧盟、印度或新加坡的隔离环境。

开始使用

Scribe v3 Live Medical 现已在 ElevenAgents 中推出。

前往“设置”>“自动语音识别”,然后从模型下拉菜单中选择它。

作者

John is on the ElevenAgents growth team, with a focus on the healthcare industry.

相关内容

面向规模化内容创作的一体化 AI 创意平台