推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

构建 AI 交互层:ElevenLabs NYC 峰会发布内容全览

发布时间

收听收听本文

CEO and co-founder of ElevenLabs Mati Staniszewski speaks onstage at the ElevenLabs Summit NYC.
CEO and co-founder of ElevenLabs Mati Staniszewski onstage at the ElevenLabs Summit.

AI 的能力比以往更强,但要让这种智能广泛普及,系统必须易于所有人理解和使用。这取决于交互是否自然、直观。ElevenLabs 正在构建 AI 的交互层。

在今天的纽约峰会上,ElevenLabs 推出了新模型、智能体和部署选项,帮助企业通过 AI 与人互动,并探索新的创收方式。

ElevenLabs CEO 兼联合创始人 Mati Staniszewski 表示:“未来几年,对话式智能体将成为每家企业的关键基础设施,如同云服务或支付一样不可或缺。每家企业都需要重新思考如何与客户、员工及更广泛的世界互动。”

以下是 ElevenLabs 在峰会上发布的内容:

驱动每一次交互的模型新进展

我们从语音起步,打造了行业领先的自然对话模型,如今正将工作拓展至支持人们以各种方式与技术互动的模型和工具。

在现场,Staniszewski 预览了多项更新,将让 AI 系统、客户与员工之间的互动更自然,也更贴合具体场景。他表示:“ElevenLabs 的使命是解决人与技术的交互问题,而这第一次变得可以解决。”

为所在领域微调开源模型和 ElevenLabs 语音模型

每个行业都有自己的语言和规范。服务客户的方式以及最适合沟通的渠道,因行业而异。因此,ElevenLabs 一直致力于为主要行业打造专用模型。面向特定领域的 语音转文本 模型可学习企业所在行业实际使用的术语,例如金融业的 EBITDA 或政府领域的 HIPAA。ElevenLabs 采用这一方法打造了 Scribe v3 Medical,一款面向医疗行业的转录模型。它能以更高准确率识别数千个复杂医学术语,并区分 cycloserine 和 cyclosporine 等药物名称,让患者获得结核病治疗,而不是免疫抑制剂。

这项工作不会放缓。Staniszewski 表示,面向金融服务业的领域优化模型正在开发中。但我们也相信,企业应能针对自身的具体场景和客户,而不只是所属行业,优化所使用的模型。

Staniszewski 在主题演讲中宣布,未来几个月,我们将帮助企业针对自身需求微调部分开源语言模型及 ElevenLabs 语音模型。他表示:“如果不能体现人与企业各自的独特性,我们就无法解决人机交互问题。”

团队将能根据企业独有的具体特性微调模型。企业可携带来自实际部署的数据,与 ElevenLabs 研究人员合作优化驱动其业务的模型。每家企业都能选择最重要的指标,例如客户满意度评分(CSAT)或可靠性;ElevenLabs 研究人员将帮助你利用实际部署的数据,微调驱动业务的模型。还可根据每次新交互持续优化;Staniszewski 将其比作每家公司本质上都拥有自己的强化学习技术栈。

Staniszewski 表示:“我们将持续推出更多领域优化模型,确保 AI 更准确、更实用;但我们也认为,企业应该能够更进一步,获得不仅针对行业,也针对自身企业和客户优化的模型。这是让数据为你所用、进一步扩大独特优势的最佳方式之一。”

Interaction Engine 编排整段对话

并非每项智能体任务都需要在每一步使用前沿模型才能成功。确定该使用哪些模型、如何使用以及何时使用来实现特定结果,本身就是一门艺术,ElevenLabs 研究人员一直在致力于解决这一问题。

ElevenLabs 预览了名为 Interaction Engine 的新系统,它从对话节奏入手。它可处理轮流发言和打断,让智能体知道何时介入、何时停止说话。它还能为对话的每个部分选择合适的 LLM。成本较低的模型可处理分流,控制 token 用量;需要时,前沿模型会接手更复杂的任务。

ElevenAgents 重大升级及更多功能

ElevenAgents 是一个平台,可在销售、支持、招聘和运营等场景中配置、部署和改进语音与聊天智能体。它能理解正在交谈的对象,并根据对方需求调整。

Yahoo、Westgate 和 KPN 等客户及合作伙伴已在使用 ElevenAgents,并发现更理解上下文和文化的智能体能为每个人带来更好的结果。

Staniszewski 分享了即将推出的多项 ElevenAgents 更新,让智能体与客户之间的互动更顺畅、更自然。

Memory 帮助 ElevenAgents 记住回访客户

在客户支持对话中,人们经常分享未被记录或利用的宝贵信息。Staniszewski 表示:“与人进行出色对话的一个标志,是对方记得你说过什么并据此行动。智能体也应该如此。”

Memory 可让 ElevenAgents 智能体逐渐建立客户档案,识别已验证身份的回访客户,并回忆他们之前说过的话。CRM 仍是主要客户记录,但 Memory 会捕捉对话中分享却没有对应字段的细节,例如偏好、限制条件和即将到来的重要事项。如果客户偏好西班牙语且只能在下午 5 点后沟通,智能体会记住并据此行动。

每次互动后,智能体都会将对话提炼为结构化记录,并在客户再次联系时更新。它还会保留之后重要的细节。一位电话服务用户曾提到自己将在 3 月搬家,那么他在 4 月来电时无需再次说明:智能体会自动询问他是否希望将服务转移到新地址,并终止旧地址的服务。由此,对每位客户的了解会随着每次对话不断累积,让每次互动都比上一次更具个性化。

Routines 处理对话前后的工作

客户支持电话的大部分后续工作都发生在通话结束后,通常由未参与原始对话的人员和工具完成。Routines 是 ElevenAgents 新推出的自动化层,让用户能在每次对话前、对话中和对话后运行多步骤工作流程。它可连接团队已经使用的工具和系统。

Routine 可以预筛选抵押贷款申请人并在数分钟内回电,也可以在就诊前提醒患者,并提供候补名单中空出的预约时段。它还可原生在 ElevenAgents 中发送报告邮件、写入 CRM 或发起通话。

借助 Routines,ElevenAgents 可承担每次对话前后更多工作,让团队花更少时间准备和跟进,把更多时间留给客户。

ElevenAI 帮助人们专注于重要对话

在主题演讲的抢先预览中,Staniszewski 介绍了 ElevenLabs 的新应用 ElevenAI。它可充当企业团队的 AI 队友:聆听包括线下会议在内的口头对话,并将其转化为笔记和后续步骤。如果 ElevenAgents 是企业与客户之间的交互层,那么 ElevenAI 将成为员工完成工作时的交互层。

ElevenAI 提供由 Scribe v3 驱动的听写和会议笔记功能;Scribe v3 是 ElevenLabs 最新、最准确的语音转文本模型。在征得所有人同意后,它会在会议中记录笔记,并在通话结束时向每位参会者提供摘要和行动事项。它还可在通话期间提供实时协助,分享上下文并增强人与智能体之间的协作。系统内置告知和同意机制,让另一端的参与者感到安心。

随着人们在日常生活中越来越依赖个人智能体,他们也需要专为员工打造的工作支持。ElevenAI 可适配公司的工具和流程,并在整个工作日陪伴用户。它还会在智能体与人之间传递恰当的上下文,让双方作为一个团队协作。ElevenAI 的免费抢先体验于今日开放。

通过 ElevenLabs Partner Program 和 ElevenLabs Marketplace 扩展企业生态系统

ElevenLabs 的合作伙伴网络已发展至遍布 44 个国家的 550 多家合作伙伴,包括 Google Cloud、IBM、Deloitte、DXC 和 Genesys。今天,我们推出 ElevenLabs Partner Program,让企业能更轻松地与已了解其业务的咨询公司、系统集成商、软件供应商和代理机构部署 ElevenAgents。合作伙伴可负责与现有技术栈的集成,或与 ElevenLabs FDEs 共同处理复杂部署,以最迅速的方式帮助你实现价值。

作为该计划的一部分,ElevenLabs 还宣布与麦肯锡结成联盟,将 ElevenAgents 与该公司的企业转型专长以及麦肯锡旗下 AI 公司 QuantumBlack 相结合。企业现在可基于 ElevenLabs 自行构建、与合作伙伴共同构建,或向合作伙伴购买解决方案,以在复杂系统中规模化部署智能体。

此外,ElevenLabs 和 NVIDIA 宣布将扩大双方合作。Nemotron 3.5 Super VL 现已在 ElevenAgents 中提供,ElevenLabs 还将新增 15 MW 的 Vera Rubin 计算容量。两家公司还将为波兰国家电子健康平台开发本地部署的语音智能体。该智能体将为仅使用固定电话的患者提供预约安排服务。

今天,我们还推出了 ElevenLabs Marketplace:这是由技术合作伙伴基于 ElevenLabs 构建、面向医疗保健、金融服务、保险、教育和零售等行业的精选 AI 和语音应用集合。企业可浏览智能体和应用,并直接联系其背后的合作伙伴。从明年开始,企业可通过 Marketplace,使用现有的 ElevenLabs 合作承诺购买这些智能体。

当交互问题被解决后会发生什么

Staniszewski 在主题演讲结尾提出:当人与 AI 之间的交互问题得到解决后,会发生什么?他的答案是一个技术适应人的世界:语言、地域和规模的限制不复存在,当地特色和文化得以保留。

Staniszewski 表示:“人们担心 AI 会将一切集中化、同质化,这种担忧可以理解。他们担心企业无法保护自身壁垒,也担心 AI 的每次迭代都会回归平均水平。我们要构建的恰恰相反:通过模型、产品和社区,放大企业的独特之处,帮助你扩大优势。”

今天发布的内容是迈向这一未来的步骤,ElevenLabs 正与齐聚纽约的客户、合作伙伴和开发者共同打造它。立即开始,请从 ElevenAgents 入手。

作者

Bearded man wearing glasses and a green shirt, seated indoors.

Mike Murphy

Blog editor and lead writer

Mike Murphy 是 ElevenLabs 博客的主编兼撰稿人,致力于将复杂的研究和技术转化为清晰、引人入胜的故事。加入 ElevenLabs 前,他曾多年担任科技记者,包括在 Quartz 任职,并负责 IBM Research 的内容工作。他拥有西北大学新闻学硕士学位。

相关内容

用高质量 AI 音频创作